DatasetResearch: Benchmarking Agent Systems for Demand-Driven Dataset Discovery

## Контекст В последние годы, большие языковые модели полностью изменили ландшафт искусственного интеллекта, переиграв ранее ограничивающие его факторы, такие как вычислительная мощность, в ограничение, связанное с доступностью данных. Несмотря на то, что сегодня доступны многочисленные ценные данные в различных знаний-интенсивных и логика-интенсивных зонах, многие из них остаются скрытыми в специализированных репозиториях, исследовательских приложениях и доменных платформах. Это приводит к вопросу: могут ли системы на основе искусственного интеллекта преодолеть традиционные поисковые приёмы, чтобы автоматически выявлять и синтезировать данные, соответствующие конкретным пользовательским требованиям? Эта идея лежит в основе разработки системы DatasetResearch, первого комплексного бенчмарка, оценивающего возможности систем для точного выявления данных по спецификации пользователя. ## Метод DatasetResearch представляет собой трёхмерную методологию, позволяющую оценивать роботов-исследователей на основе 208 реальных спецификаций, разделенных по сложности и типу. Основная архитектура подразумевает два основных типа агентов: роботы-поисковики и роботы-синтезаторы. Роботы-поисковики оперируют богатым индексом данных, обеспечивая большую полноту результатов. Роботы-синтезаторы, в свою очередь, строят данные с нуля, генерируя их по запросу. Такая структура позволяет бинаризовать ситуации, в которых каждый тип агента справляется с определёнными задачами лучше другого, но ни один из них не может полностью справиться с "корневыми" случаями, которые выходят за пределы распределения текущих данных. ## Результаты Комплексный анализ, проведённый в рамках DatasetResearch, показал, что даже самые продвинутые системы достигают лишь 22% от возможностей базовых критериев на оценочном подмножестве DatasetResearch-pro. Это свидетельствует о большом расхождении между текущими моделями и идеалом автоматической обнаружения и синтеза данных. Особенно важными оказались результаты, показавшие, что системы поиска сильнее в ситуациях, где нужно полномочие и база знаний, но часто провалятся в случаях, требующих нестандартных и крайних решений. Обратно, синтезаторы сильнее в ситуациях, требующих глубокой интеллектуальной логики, но они не справляются с широкой подборкой данных. ## Значимость Результаты DatasetResearch устанавливают первый рабочий базис для оценки систем автоматического выявления данных. Это открывает возможности для создания систем, которые могут автоматически находить и синтезировать данные в л