WeChat-YATT: A Simple, Scalable and Balanced RLHF Trainer

## Контекст WeChat-YATT (Yet Another Transformer Trainer in WeChat) — это простой, масштабируемый и балансированный тренер для Reinforcement Learning from Human Feedback (RLHF). Он разработан для решения проблем, связанных с масштабированием и эффективностью тренировки больших трансформеров и мультимодальных систем. Несмотря на прогрессы в технологиях RLHF, существуют значительные недостатки в системах, которые относятся к управлению большими моделями, адаптации к динамическим задачам и оптимизации вычислительных ресурсов. В частности, существующие системы часто сталкиваются с проблемами масштабируемости контроллеров и неэффективностью пайплайнов RLHF при работе с интенсивными динамическими обработками. В этом исследовании мы развиваем новую архитектуру и методологию, которые позволяют устранить эти проблемы. ## Метод WeChat-YATT предлагает новую архитектуру, основанную на parallel controller programming model, которая упрощает работу с множеством моделей и оптимизирует процессы RLHF. Фреймворк также включает в себя dynamic placement schema, который адаптивно распределяет вычислительные ресурсы в зависимости от динамических условий обучения. Это позволяет минимизировать время простоя и повысить GPU-утилизацию. Метод предлагает эффективное управление рабочими нагрузками в трех сценариях: статических, динамических и мультимодальных. Он также использует adaptive sampling, который позволяет увеличить эффективность тренировочных процессов. Эта методология готова для масштабирования до больших моделей и интенсивных задач RLHF. ## Результаты Мы провели эксперименты для оценки производительности WeChat-YATT в отношении существующих фреймворков RLHF. Для этого использовались различные модели и данные с большим размером. Результаты показали, что WeChat-YATT совершенно опережает современные аналоги по составным показателям: throughput, GPU-утилизации и стабильности работы. Также были проведены сценарии, в которых WeChat-YATT продемонстрировал улучшения в скорости обучения и эффективности вычислений при масштабировании моделей. Эти результаты указывают на успешное решение проблем масштабируемости и динамического распределения ресурсов. ## Значимость WeChat-YATT может применяться в различных сценариях, включая обучение и мультимодальные системы для большого количества пользователей. Он позволяет улучшить производительность и экономить ресурсы, чтобы обучение было более эффективным и быстрым. Особенно важно, что WeChat-YATT успешно применяется для обучения моделей в рамках WeChat, что подтверждает его значимость в реальном мире. Фреймворк может стать новой стандартной платформой для RLHF с улучшенной масштабируемостью и стабильностью. ## Выводы WeChat-YATT представляет собо