Towards Personalized Deep Research: Benchmarks and Evaluations

## Контекст Современные Deep Research Agents (DRAs) могут выполнять сложные расследования и формировать подробные отчеты, демонстрируя высокий потенциал в реальных условиях. Однако, существующие оценочные подходы ограничиваются замкнутыми бенчмарками, не учитывая открытые, открытые тесты, не уделяя внимания личности пользователя. Это снижает реальность этих оценок и не позволяет оценить полную силу DRAs в персонализированных сценариях. Исследователи предлагают новый подход, разработав Personalized Deep Research Bench, первый бенчмарк, оценивающий возможность персонализации DRAs. Он сочетает 50 разных расследований из 10 различных областей с 25 реальными профилями пользователей, включающими как структурированные атрибуты, так и динамические контексты, что приводит к 250 реальным запросам пользователей. ## Метод Для оценки систем был разработан PQR Evaluation Framework, который оценивает три ключевых аспекта: (P) Personalization Alignment, (Q) Content Quality и (R) Factual Reliability. Personalization Alignment оценивает долю личности пользователя в процессе расследования, Content Quality оценивает качество информации, а Factual Reliability — точность и достоверность фактических данных. Этот фреймворк позволяет эффективно оценивать системы на различных уровнях сложности, учитывая требования к персонализации и качеству результатов. Использование этого подхода позволяет более точно определить сильные и слабые стороны существующих DRAs. ## Результаты В ходе экспериментов были оценены несколько систем DRAs на базе Personalized Deep Research Bench. Результаты показали, что ни одна из систем не достигла идеального соотношения всех трех аспектов. Наилучшие результаты были получены в плане Content Quality, но существуют существенные проблемы в Personalization Alignment и Factual Reliability. Например, некоторые системы способны хорошо адаптироваться к личным предпочтениям, но страдают от неточностей в фактических данных. Эти результаты подтверждают, что есть большой потенциал для улучшения личности DRAs, особенно в сценариях с большим количеством динамических контекстов. ## Значимость Разработанный подход и бенчмарк имеют широкие применения в области развития персонализированных AI-решений. Они могут быть использованы для создания пользовательских AI-помощников, которые будут учитывать индивидуальные потребности и контексты. Это может привести к улучшению качества сервисов в области информационного поиска, медицины, юриспруденции и других областях, где нужно учитывать личные особенности. В будущем это может привести к развитию новых, более гибких и эффективных AI-систем, улучшающих качество жизни пользователей. ## Выводы Основной достижением является создание первого бенчмарка для оценки персонализации в DR