EOE: Evolutionary Optimization of Experts for Training Language Models

## Контекст Одна из ключевых задач в области машинного обучения является обучение больших языковых моделей (LLM). Несмотря на их высокую точность и эффективность, эти модели требуют огромных ресурсов для обучения и инференса, что ограничивает их развертывание в устройствах с ограниченными ресурсами. Таким образом, существует необходимость в разработке методов, позволяющих сократить размер моделей без существенного ухудшения их качества. В этой статье предлагается фреймворк, основанный на эволюционной оптимизации, для эффективного обучения таких моделей. ## Метод Фреймворк предлагает разбить модель на несколько экземпляров (экспертов), которые имеют одинаковую архитектуру, но разные веса. На каждом шаге обучения обучается только один эксперт (sub-network). После классического обучения с помощью AdamW, веса экспертов модифицируются с помощью эволюционных операторов: скрещивания, мутации и оптимизации частичного селектора (PSO). Эти операторы позволяют текущему эксперту "унаследовать" знания лучшего эксперта, что ускоряет уменьшение потерь. Наконец, только веса лучшего эксперта сохраняются, что приводит к значительному сокращению размера модели. ## Результаты Эксперименты показали, что лучший эксперт показывает почти одинаковую точность, что и полная модель. Это существенно сокращает размер модели для инференса. Благодаря тому, что в каждом шаге обучения обучается только один эксперт, процесс требует меньшего объема памяти и обеспечивает более высокую пропускную способность. Таким образом, пропускная способность может увеличиваться на более чем десять раз по сравнению с необходимым для обучения полной модели. ## Значимость Предложенный подход может быть применен в области машинного обучения для создания эффективных моделей, подходящих для развертывания на устройствах с ограниченными ресурсами, таких как edge computing или мобильные устройства. Основные преимущества заключаются в сокращении размера моделей, повышении пропускной способности и сохранении высокой точности. Это открывает новые возможности для развития AI-решений в различных секторах, таких как мобильные приложения, IoT и медицина. ## Выводы Предложенный эволюционный фреймворк для обучения языковых моделей демонстрирует перспективу сокращения размера моделей и увеличения пропускной способности без потери точности. Будущие исследования будут сконцентрированы на улучшении эволюционных операторов, оптимизации процесса скрещивания и динамическому выбору экспертов в процессе обучения.