Maximum Score Routing For Mixture-of-Experts

## Контекст Микстура-оф-экспертов (MoE) — это архитектура нейросетей, которая состоит из нескольких экспертов, каждый из которых выполняет подсеть. Она используется для увеличения модели размера с минимальным увеличением вычислительных затрат. В стандартных сетях MoE используется механизм routing для динамического выделения входных токенов к топ-к экспертам. Однако существуют проблемы, такие как низкая эффективность железа из-за подpadding'а и высокая разброса потерь из-за неоптимального выделения ресурсов. Эти проблемы требуют разработки более эффективных методов routing-а для моделей MoE. ## Метод Мы предлагаем Maximum Score Routing ($\mathbf{MaxScore}$), новую модель routing-а для моделей MoE. Метод использует минимальное решение затрат для максимального потока для топ-к эксперта. Это позволяет решить задачу топ-к выделения токенов в сети MoE без использования итеративных решений или оптимальной транспортной задачи. Модель MaxScore обеспечивает лучшую балансировку ресурсов и эффективность вычислений без потерь. ## Результаты Мы провели эксперименты на нескольких моделях сетей и данных. Модель MaxScore показала лучшие результаты в сравнении с обычными методами routing-а. Она достигла более низких потерь при обучении и выше оценок при оценке, при этом требуя одинаковых вычислительных ресурсов (FLOPs). Эти результаты подтверждают то, что MaxScore лучше справляется с задачей топ-к выделения токенов в моделях MoE. ## Значимость Модель MaxScore может быть применена в различных областях, где требуется эффективная обработка больших моделей с минимальными вычислительными затратами. Ее преимущества заключаются в более оптимальной балансировке ресурсов, высокой эффективности вычислений и лучшем качестве моделей. Это может привести к развитию более эффективных алгоритмов обучения для сетей MoE и других архитектур сетей. ## Выводы Модель MaxScore представляет собой перспективное решение для routing-а в моделях MoE. Она разрешает основные ограничения существующих методов, улучшая качество обучения и вычислительные ресурсы. Будущие исследования будут нацелены на расширение модели на более сложные задачи и ее интеграцию с другими методами моделирования.