A Large-Scale Web Search Dataset for Federated Online Learning to Rank

### Контекст Поисковые системы широко используются для обеспечения доступа к информации в Интернете. Однако сбор поисковых запросов и поведенческих данных пользователей для обучения моделей сортировки (ranking models) сопряжен с значительными проблемами конфиденциальности и безопасности. Федеративное обучение (Federated Learning) предлагает альтернативу, позволяя обучать модели совместно без передачи ненуклеризованных данных. Однако существующие бенчмарки для Federated Online Learning to Rank (FOLTR) часто основываются на синтетических щебенках, таких как случайное разделение данных или симуляции кликов. Это существенно снижает реальность экспериментов и ограничивает их полезность для реальных систем. ### Метод Мы предлагаем AOL4FOLTR — большую коллекцию данных поисковых запросов, содержащую 2,6 миллиона запросов от 10 000 пользователей. Каждый пользователь идентифицируется уникальным идентификатором, данные содержат реальные клики и метки времени. Эта коллекция позволяет моделировать реальные пользовательские поведения, включая асинхронность и индивидуальные предпочтения. Мы также предлагаем методы федеративного обучения, которые учитывают эти реалистичные аспекты, чтобы повысить реалистичность экспериментов и улучшить модели сортировки. ### Результаты Мы провели эксперименты с AOL4FOLTR, сравнив его с существующими бенчмарками FOLTR. Наши результаты показали, что использование реальных данных и асинхронных сценариев приводит к более точным и предсказуемым моделям сортировки. Мы также продемонстрировали, что наша архитектура позволяет улучшить качество рекомендаций и уменьшить время обучения, благодаря более реалистичной модели поведения пользователей. ### Значимость AOL4FOLTR может использоваться в различных областях, включая поисковые системы, рекомендательные системы и облачные сервисы. Он предлагает значительные преимущества, такие как улучшение конфиденциальности, реалистичность экспериментов и повышение качества моделей сортировки. Благодаря своей реалистичности, он может помочь в развитии более эффективных и честных системы поиска и рекомендаций, которые учитывают реальные пользовательские поведения. ### Выводы Мы представили AOL4FOLTR — крупную выборку данных поисковых запросов, которая озвучивает новый стандарт для FOLTR. Наши результаты показали, что реалистичные данные и асинхронные сценарии могут значительно улучшить качество моделей сортировки. В будущем мы планируем расширить коллекцию данных, включив более разнообразные сценарии поведения пользователей и более сложные модели сортировки.