BranchGRPO: Stable and Efficient GRPO with Structured Branching in Diffusion Models

## Контекст Современные генерирующие модели изображений и видео, основанные на векторных запросах (Vector-Quantized Diffusion Models, VQDMs), позволяют значительно улучшить качество и совместимость с пользовательскими предпочтениями. Однако, несмотря на эти достижения, существуют проблемы, связанные с высокой стоимостью вычислений, например, из-за необходимости многократных роллаутов и многократных выборок Sample Diffusion Equation (SDE). Более того, обучение таких моделей часто сталкивается с проблемами, такими как узкие зоны натуры и нестабильность процесса обучения, вызванные скудными наградами. Наша мотивация заключается в создании метода, который сможет решить эти проблемы, обеспечив стабильность и эффективность обучения. ## Метод Мы предлагаем BranchGRPO, новую стратегию обновления политик для метода Generative Reward Preference Optimization (GRPO). Основной идеей является введение ветвления в процессе сэмплинга SDE, что позволяет эффективно использовать вычисления и уменьшить время обучения. Мы реализуем две основные стратегии: (1) **дерево-основная схема вычислений**, позволяющая повторно использовать вычисления для общих префиксов при разных ветвлениях, и (2) **приемлемость при урезании**, которая уменьшает расходы на вычисления, урезая низкоконтрастные или раздутые ветви. Благодаря этому, модель становится более эффективной и требует меньше ресурсов для обучения, при этом не теряя в разнообразии эксплорейшена. ## Результаты Мы проводили эксперименты на задачах выравнивания приоритетов между изображениями и видео, используя имеющиеся данные. Наши результаты показали, что BranchGRPO повышает скоры художественного анализа (alignment scores) на 16% в сравнении с сильными базовыми моделями. Более того, время обучения уменьшилось вдвое, что делает BranchGRPO более привлекательным для реальных приложений. Сравнительные эксперименты с другими методами подтвердили эффективность нашей модели в сочетании с низким расходом ресурсов. ## Значимость BranchGRPO может быть применено в различных областях, где требуется высокий уровень степени корректности выравнивания между генерируемыми изображениями и пользовательскими предпочтениями, таких как редактирование изображений, контент-генерация и видео-монтаж. Преимуществами модели являются снижение вычислительных затрат, улучшение эффективности и устойчивость при обучении. Эти улучшения могут иметь значительное влияние на развитие глубокого обучения в сферах, где высокая скорость и качество генерации отвечают потребностям пользователей. ## Выводы В итоге, BranchGRPO представляет собой прорыв в сфере GRPO, который улучшает качество выравнивания и эффективность обучения. Наша модель позволяет уменьшить затраты на вычисления б