Language-Guided Tuning: Enhancing Numeric Optimization with Textual Feedback

## Контекст Современные машинное обучение и анализ данных часто сталкиваются с трудностями при настройке моделей и алгоритмов. Настройка конфигураций — это критический аспект, включающий в себя регулирование архитектуры модели, стратегии обучения, признаков и гиперпараметров. Традиционные подходы часто работают в рамках изолированного рассмотрения каждой из этих сфер, что приводит к неэффективности и недостатку понимания процесса. В то же время, автоматизированные методы, такие как grid search и random search, либо не могут адаптироваться динамически к изменениям, либо не обладают способностью семантического анализа. Мотивированы тем, что необходимо создать более интеллектуальный подход, мы предлагаем Language-Guided Tuning (LGT) — рамку работы, которая использует многоагентные Large Language Models для оптимизации конфигураций с использованием естественного языка. ## Метод LGT основывается на многоагентной модели, в которой каждый агент имеет свой специализированный роль. Этот подход включает Advisor, Evaluator и Optimizer. Advisor генерирует новые конфигурации на основе естественного языка и возможности понимания особенностей оптимизации. Evaluator оценивает эффективность новых конфигураций, используя текстовые сигналы (текстовые градиенты), которые позволяют понять динамику обучения и взаимосвязи между конфигурациями. Optimizer, в свою очередь, адаптирует стратегию оптимизации на основе результатов Evaluator. Этот цикл создает самоповышающуюся систему, где каждый агент способствует улучшению общей системы. ## Результаты Мы проводили современные эксперименты на шести различных наборах данных, используя различные модели и задачи. Результаты показывают, что LGT превосходит традиционные методы, такие как grid search и random search, в соотношении качества результатов к времени выполнения. Также мы обнаружили, что наша система обладает высокой интерпретируемостью, что позволяет пользователям лучше понять принципы принятых решений. Например, в задаче регрессии на основе датасета MNIST, LGT показал до 20% улучшения в точности в сравнении с традиционными подходами. ## Значимость LGT может иметь широкие применения в машинном обучении, в том числе для настройки моделей, оптимизации гиперпараметров и автоматизированного анализа данных. Его главные преимущества заключаются в высокой эффективности, меньшем потреблении ресурсов и возможности для широкого применения. Также, LGT может быть применен в области глубокого обучения, чтобы увеличить скорость и точность оптимизации моделей. Мы считаем, что наш подход может иметь будущее в развитии интеллектуальных систем, которые могут принимать решения на основе естественного яз