Sample More to Think Less: Group Filtered Policy Optimization for Concise Reasoning

#### Контекст В последние годы появились большие языковые модели (LLM), которые позволяют решать не только простые задачи, но и задачи, требующие высокого уровня логического рассуждения. Однако эти модели часто страдают от проблемы "длинного ответа", когда для достижения более высокой точности ответы становятся длиннее и содержат много ненужной информации. Это приводит к значительному увеличению необходимой вычислительной стоимости. Наша исследовательская группа работает над эффективным решением этой проблемы, стремясь сократить длину ответов без потери точности. #### Метод Мы предлагаем **Group Filtered Policy Optimization (GFPO)**, архитектуру, которая учит модели сократить длину ответов, используя эффективный подход к выборке и фильтрации. Мы работаем с конкретными метриками: длина ответа и эффективность токенов (то есть "результат за токен"). Наша модель оптимизирует эти характеристики, научаясь выбирать более короткие, но точные ответы во время тренировки, чтобы во время использования не производить излишних вычислений. #### Результаты Мы проверили нашу модель на нескольких сложных задачах, включая тесты по STEM и программированию. Наши эксперименты показали, что GFPO существенно сокращает длину ответов в сравнении с традиционными алгоритмами, которые пытаются повысить точность, увеличив длину ответа. Мы также показали, что оптимизация под "результат за токен" дает еще большую эффективность, сокращая длину до 71-85%. #### Значимость Наш подход может быть применен в области создания эффективных языковых моделей для решения сложных задач, таких как решение задач по STEM, программированию и логического моделирования. Он позволяет сократить стоимость вычислений, не ухудшая точность. Это имеет значительный потенциал для улучшения практического применения моделей, особенно в ситуациях, где вычислительная стоимость критична. #### Выводы Мы доказали, что наш подход может эффективно решать проблему длинного ответа, существенно сократив необходимый объем вычислений. В будущем мы планируем провести дополнительные эксперименты для переноса этого подхода на другие типы задач и моделей, чтобы усилить его широкое применение.