ADMIRE-BayesOpt: Accelerated Data MIxture RE-weighting for Language Models with Bayesian Optimization

## Контекст Оптимизация смеси данных для обучения больших языковых моделей является ключевым аспектом, значительно влияющим на их эффективность и качество. Несмотря на важность этой задачи, нынешний подход к ней остается традиционным и основывается на руководстве экспертам и методах хитроумного экспериментирования, которые недостаточно надежны и эффективны. Это приводит к значительным затратам времени и ресурсов на эксперименты, а также к опасности переобучения к маломасштабным данным. Данная работа предлагает новый подход к этой проблеме, рассматривая его как задачу оптимизации черного-ящика с использованием байесовской оптимизации. ## Метод ADMIRE-BayesOpt предлагает представить проблему выбора смеси данных для обучения языковых моделей в качестве задачи последовательного выбора, оптимизирующей баланс между затратами на обучение пробных моделей и показателями полученной смеси. Для этого используется методология нескольких фидбеков в байесовской оптимизации, которая позволяет эффективно комбинировать результаты из множества экспериментов с различными уровнями ресурсов. Архитектура решения включает в себя систему, которая стремится минимизировать затраты на эксперименты, получая наилучшую смесь данных для указанного размера модели и задачи обучения. ## Результаты Проведенные эксперименты были проведены на моделях размеров от 1 миллиона до 7 миллиардов параметров, включая простые архитектуры и современные модели. Было осуществлено 460 полных циклов обучения и оценки моделей, что составляет более 13 000 часов вычислительных ресурсов на графических процессорах. Результаты показали, что ADMIRE-BayesOpt предоставляет скорость оптимизации лучшей смеси данных, составляющую более 500% по сравнению с базовыми методами. Эта система позволяет эффективно использовать ресурсы и снижать риски переобучения к маломасштабным данным. ## Значимость Описанное решение может быть применено в различных областях глубокого обучения, где требуется оптимизация многообразия данных для обучения языковых моделей. Особый подход ADMIRE-BayesOpt обеспечивает снижение затрат на ресурсы, увеличивает эффективность и позволяет быстрее достичь результатов. Рассматриваемый подход может иметь значительное влияние на развитие технологий глубокого обучения, уменьшая необходимость в ручном вмешательстве и использовании ресурсов. ## Выводы Результаты данного исследования показали, что ADMIRE-BayesOpt является эффективным инструментом для оптимизации смеси данных в обучении языковых моделей. Он не только существенно сокращает время и ресурсы, но и позво