FlashRecovery: Fast and Low-Cost Recovery from Failures for Large-Scale Training of LLMs

## Контекст Large language models (LLMs) представляют собой одно из самых мощных инструментов в современном искусственном интеллекте, применяющихся в различных областях — от трансляции и моделирования до предсказания и анализа. Однако их обучение на масштабах, необходимых для достижения высокого качества и точности, сталкивается с рядом технических проблем. В частности, проблема отказов в системе — как в железе, так и в программном обеспечении — является неизбежной частью таких масштабных предприятий. Эти отказы могут привести к ощутимым потерям во времени и ресурсах, что значительно замедляет процесс обучения. Поэтому целью исследования является разработка системы, позволяющей быстро и эффективно восстановить обучение после произошедшего отказа. ## Метод Система FlashRecovery представляет собой сложную структуру, состоящую из трех основных модулей. 1) **Активное и реальномерное мониторинговое отслеживание состояния обучения**: Эта часть системы постоянно отслеживает состояние обучения, позволяя немедленно выявить и сообщить о проблемах. 2) **Стратегия для масштабно независимой восстановления задач**: Эта часть включает в себя разные подходы к восстановлению для работающих и неисправных узлов, а также оптимизированный протокол для перестройки групп обмена данными. 3) **Механизм восстановления в одной ступени без чекпоинтов**: Это изобретение позволяет восстановить обучение за одну ступень, устраняя зависимость от традиционных методов чекпоинтов, которые часто являются ресурсоемкими и затратными. Общая цель — обеспечить минимально возможные значения Recovery Time Objective (RTO) и Recovery Point Objective (RPO). ## Результаты Проведены многочисленные эксперименты для оценки эффективности FlashRecovery. Она была испытана на кластере с 4 800 устройствами, где время восстановления после отказа составило всего 150 секунд. Это значительно меньше, чем обычно требуется для подобных операций. Также был проверен масштабируемый аспект системы — результаты показали, что время восстановления почти не зависит от масштаба обучающей задачи, что демонстрирует высокую универсальность системы. Восстановление происходит почти так же быстро независимо от того, ведется ли обучение на небольших или очень больших кластерах. ## Значимость FlashRecovery может быть применена в различных сферах, где LLMs используются для масштабного обучения. Основные преимущества — это повышение эффективности (через скорость восстановления) и надежности (через минимальные потери данных и времени). Такая система может вести к значительным экономиям в ресурсах и времени, особенно во время долгих и сложных задач обучения. Будущи