Scaling Performance of Large Language Model Pretraining

## Контекст Large language models (LLMs) являются одними из самых эффективных инструментов в области натурального языкового процессинга, применяющихся в таких областях, как синтез речи, генерация текста, перевод и генеративные модели изображений. Однако их обучение требует высокой вычислительной мощности и значительных ресурсов. Главные исследовательские центры и компании инвестируют миллиарды долларов в суперкомпьютеры и сети связи для обучения моделей, содержащих миллиарды параметров. Тем не менее, доступная информация о том, как эффективно масштабировать такие модели и увеличить их производительность, очень ограничена. Поэтому, в данной статье мы раскрываем технические характеристики и мощь масштабирования LLMs, включая управление большими данными, распределенное обучение, методы параллелизации и оптимизацию GPU-использования. ## Метод Мы разрабатывали и проверяли методы оптимизации производительности во время обучения LLMs, сосредоточившись на распределенной среде с использованием трех типов параллелизации: широковещательной, зеркальной и параллельной. Для распределенного обучения мы использовали технологию Horovod, которая позволяет выполнять данные параллельные операции на GPU. Наша архитектура основывается на использовании широковещательных методов для распространения градиентов, а также на методах зеркального обучения для сокращения времени ожидания. Мы также развивали методы управления данными, включая разделение больших датасетов на меньшие порции, распаковку данных в память GPU и оптимизацию менедра данных. Для увеличения пропускной способности и уменьшения времени обучения мы использовали алгоритмы увеличения данных, включая аугментацию текста и параллельное упакование данных. ## Результаты Мы проверили нашу систему на датасете содержащем более 800 тысяч записей. Мы достигли скорости обучения до 1000 записей в секунду, что является одним из самых высоких показателей в области обучения LLMs. Мы оценили и проанализировали разновидности методов распределенной параллелизации и их влияние на время обучения и пропускную способность. Мы также провели эксперименты с разными стратегиями оптимизации GPU и данных, включая различные режимы памяти, глубину рабочего процесса и методы управления данными. Наши результаты показали, что наш подход к масштабированию LLMs может повысить скорость и эффективность обучения в среднем на 25–50%. ## Значимость Наша работа имеет большое значение для области глубокого обучения и LLMs. Мы предоставили детальные рекомендации по масштабированию моделей, которые могут быть поле