BeyondWeb: Lessons from Scaling Synthetic Data for Trillion-scale Pretraining

#### Контекст В последние годы масштабное тренирование языковых моделей (LLM) стало ключевым инструментом для обработки и анализа текстовых данных. Однако в силу ограниченности доступных данных, традиционно используемых для тренировки, наблюдается предел эффективности. Использование синтетических данных, генерируемых специальными моделями, выступает как возможность развития LLM, позволяя преодолеть такие ограничения. Однако существуют множество вопросов относительно факторов, влияющих на качество синтетических данных и их удобство в использовании для тренировки LLM. В данной работе предлагается BeyondWeb — рамка для генерации высококачественных синтетических данных, которая расширяет возможности традиционных веб-масштабных данных. #### Метод BeyondWeb объединяет целый набор технологий, начиная от разработки генеративных моделей и заканчивая системами управления ресурсами. Основная генеративная модель, используемая в BeyondWeb, обладает широким объемом параметров, что позволяет генерировать тексты с высокой точностью и стилистикой. Данная модель адаптируется специальным образом для работы с веб-данными и визуальными содержаниями. Основной архитектурой является трансформер, применяемый для эффективного преобразования данных. Более того, BeyondWeb использует многоуровневую архитектуру, включающую в себя не только генеративную модель, но и слои предварительных оценок и классификаций, чтобы оптимизировать качество генерируемых данных. #### Результаты В ходе экспериментов с BeyondWeb был проведен ряд тестов на 14 различных метриках, сравнивая его с двумя лидирующими синтетическими наборами данных — Cosmopedia и Nemotron-Synth. В результате BeyondWeb показал значительные улучшения, достигая до 5.1% более высокого качества данных по сравнению с Cosmopedia и 2.6% — по сравнению с Nemotron-Synth. Кроме того, BeyondWeb позволяет быстрее обучать модели, достигая скорости 7.7 раз выше, чем при обучении на открытых веб-данных, и 2.7 раз выше, чем с использованием Nemotron-Synth. Для примера, 3B-модель, обученная на 180B токенов на BeyondWeb, показала лучшие результаты, чем 8B-модель на Cosmopedia. Эти результаты подтверждают преимущества BeyondWeb в сфере синтетических данных для LLM. #### Значимость BeyondWeb открывает новые пути для использования синтетических данных в области тренировки LLM. Его можно применять в различных сферах, включая общедоступные системы рекомендаций, модели распознавания речи, а также в сфере роботов-консультантов. Одним из основных преимуществ BeyondWeb является его масштабируемость и эффективность, что делает его привлекательным для больших корпора