## Контекст В современной информатике существует активная тенденция к развитию моделей языкового моделирования с высоким числом параметров, чтобы улучшить их синтаксические, семантические и когнитивные способности. Однако такие модели часто сталкиваются с трудностями в своей эффективности, как в тренировке, так и в инференсе. Для устранения этих проблем разработчики исследуют новые архитектурные решения, нацеленные на более эффективное использование ресурсов и повышение производительности. "LongCat-Flash" — это новая модель языкового моделирования, которая призвана решить эти проблемы, обеспечивая высокую эффективность и улучшенные возможности агентного поведения. Она является результатом работы команды Meituan LongCat Team, которая стремится создать модель, которая будет полезной во многих областях, включая разработку интеллектуальных систем, анализ текста, генерацию кода и решение задач в реальном времени. ## Метод "LongCat-Flash" — 560-миллиардная модель, основанная на технологии Mixture-of-Experts (MoE). Она включает два ключевых изобретения: 1. **Zero-computation Experts**: Это новая архитектура, позволяющая динамически аллоцировать вычислительные ресурсы в зависимости от контекста. Таким образом, модель может динамически активировать только необходимые эксперты (слои) в зависимости от контекста, чтобы оптимизировать вычисления. 2. **Shortcut-connected MoE**: Эта технология увеличивает объем вычислений, которые могут быть выполнены параллельно, что позволяет увеличить производительность модели в ходе инференса. Кроме того, авторы разработали сложную систему для устойчивого тренировки модели. Она включает в себя: - Технологии **Hyperparameter Transfer** для стабилизации обучения. - Инициализацию модели с учетом предыдущих версий (Model-growth Initialization). - Многоуровневый подход к обеспечению стабильности тренировки. - Определенность и вычислительная эффективность в работе. ## Результаты "LongCat-Flash" прошла тренировку на более чем 20 триллионов токенов в течение 30 дней. Эта модель показывает высокую производительность, достигая более 100 токенов в секунду (TPS) в режиме инференса с затратами $0.70 за миллион выданных токенов. Это делает ее одной из самых быстрых и эффективных моделей с таким объемом параметров. С точки зрения результатов, модель показала высокую точность и эффективность в агентных задачах, включая логическое мышление, решение задач и генерацию кода. Она соревнуется с другими моделями по высокому уровню конкурентности и обнаруживает сильные стороны в сфере когнитивных и агентных задач. ## Значимость Эта модель имеет широкие перспективы примен