Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

## Контекст Поисковые системы и системы поиска информации становятся все более важной частью современной цифровой экосистемы, особенно с ростом доступа к объёмным данным и продвинутым инструментам для глубокого понимания языка. Однако, даже с учётом этого, большинство существующих систем поиска страдают от ограниченной способности решать задачи с длинными горизонтами, недостаточной эффективности и недостаточной качественности данных. Это в основном связано с ограниченными турнами при обучении, ограниченной способностью решать неоднозначные запросы и недостаточным использованием внешних инструментов. Таким образом, в этом исследовании предлагается концептуально новый подход для решения этих проблем с помощью развития системы умных поисковых агентов с помощью больших лингвистических моделей и асинхронного обучения. ## Метод В этом исследовании предлагается новая архитектура для системы поиска, основанная на расширенных лингвистических моделях (LLM) и асинхронном обучении. Архитектура включает в себя несколько слоев, включая систему для обработки запросов, систему для выбора инструментов и систему для выполнения поиска. Затем, для обучения этой системы используется асинхронный метод обучения с помощью больших лингвистических моделей, что позволяет избежать лимитов по времени и получить более высокую эффективность. Большое количество синтетических данных, генерируемых новой системой, также позволяет повысить качество обучения и обеспечить длинный горизонт поиска. ## Результаты В ходе экспериментов были получены выдающиеся результаты в области длинного горизонта поиска. Например, система показала среднее число успешных поисковых запросов равное 46.7% на xBench и 20.8% на GAIA, что значительно превосходит существующие решения. Более того, система ASearcher-Web-QwQ показала потенциал для достижения Avg@4 скорости 42.1 на xBench и 52.8 на GAIA, что превосходит существующие 32B-агенты. Эти результаты были достигнуты благодаря синтетическому подходу к генерации данных и асинхронной структуре обучения, что позволило получить высокую эффективность и качество. ## Значимость Этот подход имеет многочисленные приложения в различных областях, включая сектора, требующих сложных поисковых запросов и анализа данных. Одним из основных преимуществ является повышение эффективности и точности поиска, которые могут быть использованы для развития новых технологий и продуктов. Более того, этот подход может помочь в развитии новых систем в области образования, вычислений и интеллектуальных поисков. ## Выводы В итоге, данная работа предста