Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset

## Контекст Одним из наиболее затруднительных и интересных областей исследований в машинном обучении является построение моделей с высокими резольюциями, которые могут обрабатывать сложные логические задачи, включая математический анализ и программирование. Для этого необходимо обучать модели на больших, высококачественных данных, которые могут поддерживать и улучшать разумные решения. Несмотря на то, что существуют многочисленные наборы данных для математического моделирования, они часто страдают от несогласованности, потери структуры и ошибок в форматировании. Это приводит к ограниченному улучшению моделей в области проблем с логическими и математическими елементами. ## Метод Методология, предложенная в работе, заключается в создании новой многошаговой архитектуры для построения высококачественных корпусов данных, ориентированных на математические задачи. На начальном этапе используется пайплайн, основанный на различных инструментах для визуального распознавания математических формул и кода. Это позволяет извлекать математические формулы и код из различных форматов, включая MathJax, KaTeX и MathML. Затем применяется целевой LLM-based cleaning stage для удаления ненужных элементов, стандартизации форматирования на LaTeX и исправления неточностей. Это позволяет сохранить структурную целостность данных и улучшить их качество. ## Результаты В результате применения предложенной методологии был получен большой, высококачественный математический корпус Nemotron-CC-Math-3+, содержащий 133 миллиардов токенов, и Nemotron-CC-Math-4+, содержащий 52 миллиардов токенов. Эти данные были использованы для обучения моделей типа Nemotron-T 8B, которые показали результаты, значительно превосходящие существующие базы данных, такие как MegaMath, FineMath и OpenWebMath. Этот подход привел к +4.8 до +12.6 улучшений на математических задачах и до +14.3 на задачах по программированию. ## Значимость Предложенный подход имеет широкие области применения в машинном обучении, обработке текстов, моделировании математических задач и кодировании. Преимущество заключается в улучшении качества моделей, благодаря достижению более высокого уровня точности и стабильности в обработке математических задач. Это может привести к новым возможностям в области автоматизации проблемно-ориентированных задач, включая распознавание и решение математических задач в реальном времени. ## Выводы Результаты работы указывают на будущие направления исследований в повышении качества математических данных для обучения моделей. Модели, обученные на таких высококачественных данных, могут продемонстрировать значительный прогресс в выполнении логических и математических за