## Контекст GPU kernel optimization является ключевым вопросом в области высокопроизводительных вычислений и машинного обучения. Эффективные GPU-ядра способствуют ускорению обучения и работы больших языковых моделей (LLM). Однако достижение высокой производительности часто требует значительных усилий вручную при настройке или использовании компиляторов. Даже с использованием существующих систем оптимизации кода, таких как LLMs для генерации CUDA-кода, получение оптимальной производительности ядра остается сложной задачей. Многие из этих подходов ориентируются на преобразование высокоуровневых спецификаций в CUDA-код. Но потребность в оптимальной производительности ядер для ЛЛМ приводит к новым аспектам, которые не учтены в существующих подходах. Мы предлагаем Astra, первую систему на основе многоагентных LLM для GPU-ядер, которая работает на основе существующих CUDA-кодов, а не на основе преобразования PyTorch-модулей. ## Метод Astra представляет собой многоагентную систему на основе LLM, которая применяет сотрудничество между агентами для кодовой генерации, тестирования, профилирования и планирования. Каждый агент отвечает за конкретный аспект оптимизации кода, такой как преобразование циклов, оптимизация доступа к памяти, использование CUDA-инструментов и применение быстрых математических операций. Исходные CUDA-коды извлекаются из SGLang, широко используемого фреймворка для серверного применения ЛЛМ. Агенты используют LLM для проведения экспериментов, профилирования, генерации новых вариантов кода и выбора оптимальных решений. Метод заключается в итеративном улучшении производительности ядер с помощью агентов, которые совместно решают задачи кодирования и профилирования. ## Результаты На кубах SGLang Astra достигает среднего ускорения 1.32x при использовании стилистического модели OpenAI o4-mini. Детальная случайная стадия показывает, что LLM-система может автономно применять циклические преобразования, оптимизировать доступ к памяти, использовать CUDA-инструменты и применять быстрые математические операции. Эти меры приводят к значительным улучшениям производительности. На основе экспериментов было показано, что Astra может значительно повысить производительность GPU-ядер без ручного вмешательства, что демонстрирует потенциал многоагентных LLM-систем в области оптимизации GPU-кода. ## Значимость Astra может применяться в сферах машинного обучения, высокопроизводительных вычислений и оптимизации GPU. Она предоставляет преимущества в скорости и эффективности в кодировании ядер GPU без ручного вмешательства. Это может привести к значительному сокращению времени и ресурсов

## Контекст В последние годы широко распространены подходы к созданию машинного обучения моделей с использованием трансформеров. Однако конструирование доверенных агентов, основанных на генеративных моделях естественного языка, остается сложной задачей. Эти агенты должны обеспечивать не только качественно высокие результаты, но и гарантировать надёжность при выполнении задач. Ложные срабатывания, неточности и проблемы с гибкостью остаются значительными проблемами. Одним из ключевых аспектов достижения надёжности является адекватное графовое и конфигурационное оптимизирование. Наиболее популярные подходы оптимизируют только конфигурации моделей, не учитывая оптимизации структуры графа, что приводит к значительным проблемам с надёжностью. Был предложен фреймворк Maestro, который предлагает полностью автоматизированную оптимизацию графа и конфигураций для генерации надёжных генеративных моделей. ## Метод Проект Maestro предлагает новую методологию, которая объединяет оптимизацию графа и конфигураций в единое комплексное решение. Граф определяет структуру модулей, а конфигурация каждого модуля включает гиперпараметры модели, предварительно обработанные входные данные, инструменты и другие контрольные параметры. Maestro применяет векторное управление над генеративными моделями, чтобы найти оптимальное сочетание структуры графа и конфигураций моделей. Метод использует визуализацию трассировок, которая позволяет обнаруживать системные проблемы и корректировывать их. Был предложен алгоритм для поиска оптимальных комбинаций графа и конфигураций, согласованных с целями качества и бюджетом токенов. ## Результаты В экспериментах были использованы данные, включающие IFBench и HotpotQA. Агент Maestro был сравнен с такими популярными оптимизаторами, как MIPROv2, GEPA и GEPA+Merge. Результаты показали, что Maestro превосходит все три оптимизатора по точности результатов. В бенчмарке IFBench он показал среднее улучшение в 12%, в HotpotQA - 4,9%. Даже при ограничении себя только оптимизацией промптов, Maestro превосходит MIPROv2 на 9,65%, GEPA на 2,37% и GEPA+Merge на 2,41%. Также было проверено, что Maestro эффективно обнаруживает и исправляет структурные проблемы, которые не могут быть разрешены стандартными методами поиска конфигураций. ## Значимость Maestro может быть применен в различных областях, где требуется надёжность и качество результатов для генеративных моделей. Он применим в области роботов-интервьюеров, систем генеративного вопрошания и ответов, а также в приложениях, требующих структурной надёжности

## Контекст Constraint Programming (CP) является мощным подходом к решению разнообразных задач, особенно тех, которые могут быть представлены в виде ограничений. Однако главной проблемой этого подхода является трудность перевода проблем, описанных на человеческом языке, в обобщенные модели ограничений. Эта задача требует глубоких знаний в области задачи и навыков моделирования в CP. На сегодняшний день существуют стандартные рабочие процессы для автоматизации этой задачи, однако они часто ограничиваются фиксированными пайплайнами и не могут успешно решить многие реальные задачи. Наша мотивация заключается в разработке нового подхода, который бы старался решить проблему с использованием гибкого, agent-based подхода без использования фиксированного pipeline. ## Метод Мы предлагаем **CP-Agent**, который основывается на принципе **ReAct (Reason and Act)**. Этот pure agent-based подход не требует фиксированной модели для решения задач. Основным инструментом является общего назначения Python-based кодинговый agent, работающий в сочетании с **IPython kernel**, что обеспечивает stateful code execution и iterative development. Агент не встраивает никакого constraint programming logic в свою структуру. Вместо этого он получает достаточное количество domain-specific knowledge через специально сконструированное project prompt. Этот prompt включает в себя все необходимые модели, формат и ограничения, которые требуются для решения задачи. Агент также имеет доступ к файловой системе, а также способен выполнять код, тестировать гипотезы и верифицировать решения. Такой подход позволяет ему быть гибким и адаптироваться к различным задачам без нужды в предварительном определении логики. ## Результаты Мы проверили наше решение на **CP-Bench**, который содержит 101 задач constraint programming. CP-Agent успешно решил все эти задачи, показывая высокую гибкость и эффективность. Мы также провели анализ качества решений и заметили, что агент не только смог решить задачи, но и адаптировался к различным форматам и ограничениям. Это доказывает, что данный подход эффективен и может быть применен в различных областях, где требуется моделирование ограничений. ## Значимость Предлагаемый подход имеет большое количество областей применения, включая сферы, где требуется автоматизация моделирования ограничений, такие как логистика, распределение ресурсов, проектирование и даже в области AI-based decision-making. В отличие от других методов, CP-Agent предлагает более гибкий и адаптивный подход, который не требует предварительного определения моделей или рабочих процессов. Это делает его применимым в ситуациях, где задачи могут быть разнообразными и нестандартными. ## Выводы Мы доказали, что constraint modeling может быть эффективно решено с помощью agentic подходов, которые не требуют фиксированных моде