Chunk Knowledge Generation Model for Enhanced Information Retrieval: A Multi-task Learning Approach

## Контекст Информационная система, основанная на запросах, широко используется в различных областях, от поисковых систем до библиотек. Однако традиционные методы для расширения запросов и документов, например, Doc2Query, имеют определенные ограничения, такие как высокая стоимость препроцессинга, увеличение размера индекса и недостаточная надежность генерируемого контента. Эти проблемы приводят к ухудшению точности поиска и эффективности взаимодействия пользователя с системой. Для решения этих задач необходимо разработать более эффективный и точный подход к расширению документов и запросов. ## Метод Предлагаемый подход, **Chunk Knowledge Generation Model (CKGM)**, разбивает документы на отдельные чанки (сегменты) и генерирует текстовую информацию для каждого чанка. Это подходят для расширения как документов, так и запросов. Модель основывается на T5 с использованием мультизадачного обучения, которая одновременно генерирует заголовки и вопросы к каждому чанку, а также извлекает ключевые слова из пользовательских запросов. Такая структура позволяет эффективно использовать ресурсы, так как данные генерируются и извлекаются параллельно в рамках одного кодирования и двух декодирований. ## Результаты Оценка модели производилась с помощью GPT-алгоритма на основе 305 пар "запрос-документ". Модель CKGM показала 95.41% точность в Top@10, что значительно превышает достижения традиционных методов. Эта модель не только улучшает точность поиска, но и экономит ресурсы за счет уменьшения размера индекса и уменьшения объема препроцессинга. Эти результаты демонстрируют улучшенную эффективность и надежность в расширении запросов и документов. ## Значимость Улучшенная модель поиска возможности применения в больших системах, таких как библиотеки, электронные библиотеки, интернет-поисковые системы. Решение позволяет улучшить точность, экономить ресурсы и обеспечить более надежную систему. Будущие исследования могут фокусироваться на дополнительных улучшениях модели, включая использование нейросетей с более широкими возможностями и применение этого подхода к различным языкам и специальным областям. ## Выводы Предложенный подход, Chunk Knowledge Generation Model, проявляет существенные преимущества по сравнению с традиционными методами расширения документов и запросов. Он эффективно расширяет данные, улучшает точность поиска и сокращает ресурсоемкость. Эти результаты открывают новые перспективы для улучшения информационных систем и систем поиска, обеспечивая более точный и эффективный поиск. Дальнейшие исследования могут расширить применение этого подхода в различных сферах, включая многоязычный поиск и с