Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

## Контекст На протяжении последних лет выработки моделей текстов на основе широковещательных моделей языков (LLM) значительно продвинулись в области работы с значительными и значительно сложными задачами, причем в большой степени используя внешние инструменты. Одним из ключевых инструментов являются системы поиска, которые играют важную роль в доступе к большим объемам внешней информации. Однако даже при использовании открытых источников, открытые системы агентов до сих пор не могут достичь экспертного уровня поисковой интеллектуальности — способности решать неоднозначные запросы, формировать точные поисковые запросы, анализировать результаты и проводить глубокий поиск. Отсутствие масштабируемости, эффективности и качества данных в существующих методах ограничивает возможности в области поисковых агентов. Это несостоятельность мотивирует развитие методологий, позволяющих более эффективно использовать технологии машинного обучения для повышения поискового уровня систем. ## Метод В этом исследовании предлагается ASearcher — открытая система для реализации большого масштаба обучения с помощью глубокого обучения в области поиска. Главным образом, ASearcher отличается широкомасштабным асинхронным обучением глубоких моделей, которое позволяет работать с долгими горизонтами поиска в процессе обучения. Метод построен на базе промпто-драйвенной модели широковещательных моделей языков (LLM), которая может самостоятельно формировать высококачественные и сложные вопрос-ответ-пары (Q&A), создавая широкомасштабные данные для обучения. Эта архитектура обеспечивает эффективное использование ресурсов и достижение высокого качества обучения в условиях длительных поисковых задач. ASearcher также позволяет проводить эксперименты с помощью простого дизайна и без дополнительных моделей LLM, что упрощает реализацию и повышает доступность. ## Результаты Экспериментальные исследования были проведены на двух общедоступных бенчмарках: xBench и GAIA. Модель QwQ-32B, обученная с помощью ASearcher, показала существенную улучшенную производительность, с Avg@4-ответами в 46.7% на xBench и 20.8% на GAIA. Это свидетельствует о том, что модель справляется с высокой степенью сложности и долгих поисковых задач. Кроме того, пространственные модели ASearcher-Web-QwQ, не использующие дополнительных моделей LLM, достигли Avg@4 в 42.1 на xBench и 52.8 на GAIA, превосходя существующие открытые 32B-модели. Это демонстрирует масштабируемость и эффективность ASearcher в достижении высокого качества поиска. ## Значимость Результаты ASearcher открывают новые возможности в области поисковых агенто