Echo: Decoupling Inference and Training for Large-Scale RL Alignment on Heterogeneous Swarms

#### Контекст Modern RL-based post-training for large language models (LLMs) подразумевает совмещение траекторий семплирования и политики оптимизации на одном GPU кластере. Это приводит к периодической переключению между работами на основе программы и работами на основе данных, что нарушает SPMD-принцип (Single-Program-Multiple-Data), основной для современных систем распределенного обучения. Эта проблема становится значительной в связи с ростом масштаба LLMs и требования к высокой производительности. Echo предлагает решение этой проблемы, разделяя два главных этапа — инференс и обучение — по разным "внедряемым" и "обучаемым" кластерам, сохраняя статистическую эффективность. Такой подход позволяет увеличить масштабируемость и эффективно использовать разнородные ресурсы. #### Метод Echo представляет собой RL-систему, которая разделяет фазу инференса и тренировки на две различные сети — "внедряемый" и "обучаемый". Для этого используются два упрощенных синхронизационных протокола: последовательный pull-режим (поддерживает минимальный биас использования API) и асинхронный push-pull-режим (распространяет версионно отмеченные тренировочные траектории по реплей-буферу, чтобы оптимально использовать железо). Данные для тренировки поступают из географически распределенного кластера, что позволяет гарантировать высокую стабильность и эффективность. Такой подход позволяет сохранить высокую производительность при использовании разнородных ресурсов в центре обработки данных. #### Результаты Использовав Echo, были проведены эксперименты с тремя различными RL-рабочими нагрузками, используя модели Qwen3-4B, Qwen2.5-7B и Qwen3-32B на распределенном кластере. Результаты показали, что Echo совпадает с методом Verl по скорости конвергенции и оценке вознаграждения, при этом инференсный процесс выполняется на "внедряемых" устройствах, а тренировочный процесс — на "обучаемых". Это позволяет эффективно снизить нагрузку на главные ресурсы центра обработки данных и масштабировать систему без потери качества. Таким образом, Echo доказывает, что можно достичь высокой производительности в системах RL для LLMs с использованием распределенных, разнородных ресурсов. #### Значимость Результаты Echo открывают новые возможности для использования географически распределенных ресурсов в обучении LLMs. Такой подход позволяет эффективно использовать инфраструктуру, включая "внедряемые" устройства, для траекторий семплирования, а главные ресурсы — для политики оптимизации. В результате, Echo позволяет повысить масштабируемость, снизить затраты на инфраструктуру и обеспечить высокую производительность в сложных задачах RL для