Small LLMs with Expert Blocks Are Good Enough for Hyperparamter Tuning

## Контекст Hyper-parameter Tuning (HPT) является важной стадией в процессе разработки машинного обучения (ML), поскольку оптимальный выбор параметров может существенно повлиять на точность и эффективность модели. Однако, с ростом размера моделей, HPT становится все более вычислительно трудоемким и непрозрачным. Недавно, Large Language Models (LLMs) были использованы для автоматизации HPT, но большинство таких подходов требуют моделей с параметрами, превышающими 100 миллиардов. Данная работа предлагает альтернативный подход, основанный на Small LLMs с специализированными модулями, чтобы улучшить производительность и транспарентность в процессе HPT. ## Метод Методология, предлагаемая в данной работе, основывается на Expert Block Framework, который включает в себя Trajectory Context Summarizer (TCS). TCS преобразует сырые траектории обучения в структурированную контекстную информацию, позволяя Small LLMs точно анализировать прогресс оптимизации. Этот подход использует два Small LLMs с разными возможностями (phi4:reasoning14B и qwen2.5-coder:32B) и ограничения по бюджету в 10 трейлов. Эти модели обеспечивают высокую точность и надежность во время HPT, подходящую даже для сложных задач. ## Результаты Эксперименты проводились с двумя Small LLMs, работающими в локальной среде, и сравнивались с результатами GPT-4. Для выполнения HPT использовались шесть различных задач, при этом TCS-ориентированная HPT-процедура показала себя эффективной, измеряясь посредством метрик, полученных с помощью GPT-4. Общая погрешность результатов не превышала ~0.9 процентных пунктов по сравнению с GPT-4, что подтверждает эффективность процедуры и подхода к использованию Small LLMs в HPT. ## Значимость Предложенный подход имеет широкую область применения в различных ML-процессах, от простого кросс-валидационного тюнинга до оптимизации сложных архитектур. Этот подход предлагает существенное улучшение в производительности и уменьшает вычислительные затраты по сравнению с традиционными LLM-based HPT подходами. Кроме того, он предоставляет транспарентный и управляемый подход к анализу прогресса оптимизации. ## Выводы Результаты экспериментов показывают, что Small LLMs с Expert Blocks могут эффективно заменить большие модели в задачах HPT, давая почти одинаковую точность с значительными вычислительными экономиями. Будущие исследования будут сосредоточены на расширении возможностей TCS для других типов моделей и задач, а также на дополнительной оптимизации процесса HPT с использованием Small LLMs.