Robust LLM Training Infrastructure at ByteDance

## Контекст С ростом интереса к обучению бо LARGE LANGUAGE MODELS (LLMs) инфраструктура обучения достигла значительных масштабов, включая сотни тысяч GPU. Однако при таких масштабах возникает значительное количество проблем, таких как CUDA-ошибки, NaN-значения и зависания заданий, которые значительно снижают эффективность и надежность тренировочных процессов. Современные методы обучения LLMs должны учитывать эти задачи, обеспечивая высокую производительность, точность диагностики и устойчивость к ошибкам. Поэтому целью данного исследования является разработка системы управления GPU-инфраструктурой, которая обеспечивает высокую устойчивость и эффективность процесса обучения LLMs в реальном времени. ## Метод Методология разработки ByteRobust основывается на понимании уникальных характеристик процесса обучения LLMs. Используются методы автоматического диагностирования ошибок, таких как динамический мониторинг и анализ тренировочных данных. Архитектура ByteRobust включает в себя несколько модулей: модуль мониторинга, модуль распознавания ошибок и модуль восстановления. Модуль мониторинга наблюдает за процессом обучения, в том числе за состоянием GPU и статистикой процесса. Модуль распознавания ошибок использует методы машинного обучения для диагностики проблем. Модуль восстановления активируется при обнаружении ошибки и применяет методы, такие как перезапуск заданий и дедупликация данных, для быстрого восстановления. ## Результаты Удачные эксперименты проведены на платформе с более чем 200 000 GPU. Был проведен тренировочный процесс LLM на 9 600 GPU, длительностью три месяца. Был достигнут рекордный результат с 97% успешного времени до первого провала (ETTR), что значительно превышает стандартные показатели. Была также доказана эффективность ByteRobust в обнаружении и восстановлении ошибок: в 85% случаев было достигнуто мгновенное восстановление с заданий после обнаруженных проблем. ## Значимость ByteRobust может быть применен в различных областях, включая образование, медицину, финансы и искусственный интеллект. Он позволяет не только увеличить стабильность процесса обучения LLMs, но и повысить эффективность использования ресурсов. Этот подход может стать ключевым для будущих исследований в области масштабируемого обучения языковых моделей. ## Выводы На основе полученных результатов, ByteRobust продемонстрировал высокую эффективность в обнаружении и восстановлении ошибок во время обучения LLMs. Будущие исследования будут сконцентрированы на расширении функционала системы, включая улучшение методов диагностики и восстановления, а также оптимизацию и