HyST: LLM-Powered Hybrid Retrieval over Semi-Structured Tabular Data

## Контекст В настоящее время пользователи часто выражают сложные запросы, которые включают как структурированные поля (например, категории, атрибуты), так и неструктурированные предпочтения (например, описания продуктов или отзывы). Такое смешение усложняет поисковые системы, которым требуется сочетать структурированный поиск с поиском семантических эмбеддингов. В отличие от традиционных подходов, которые либо сосредоточены на структурированной фильтрации, либо на поиске семантических эмбеддингов, но теряют в точности при объединении этих задач, HyST предлагает новый подход к обработке таких запросов. Он объединяет мощь Бо LLM для структурированного фильтрации с поиском семантических эмбеддингов, чтобы обеспечить эффективное решение для реальных запросов пользователей. ## Метод HyST (Hybrid retrieval over Semi-structured Tabular data) — это рамка для обработки запросов, которая объединяет модели текстового понимания на основе Бо LLM с поиском эмбеддингов для эффективного обработки запросов. Метод разделяет запрос на две части: структурированные атрибуты (например, категории, характеристики) и неструктурированные компоненты (например, описания или отзывы). Вначале HyST использует Бо LLM для извлечения атрибутов из запроса в виде метаданных. Эти атрибуты используются для фильтрации данных на уровне атрибутов. Остальная часть запроса обрабатывается с помощью поиска по семантическим эмбеддингам. Такой двухэтапный подход позволяет обеспечить высокую точность в поиске и эффективность в обработке запросов. ## Результаты Исследования проводились на бенчмарке семиантических запросов, который включал различные сценарии запросов с семантическими и структурированными компонентами. Результаты показали, что HyST показывает значительное улучшение точности в сравнении с традиционными подходами. В частности, этап фильтрации LLM позволяет сократить ненужные результаты, а поиск эмбеддингов обеспечивает высокую точность в поиске неструктурированных компонентов. Итоговая система демонстрирует высокую универсальность и эффективность в обработке сложных запросов пользователей. ## Значимость Рамка HyST может быть применена в различных сферах, включая рекомендательные системы, поисковые системы и системы управления базами данных. Основные преимущества HyST заключаются в своей способности обрабатывать сложные запросы с семантическими и структурированными компонентами, что значительно улучшает точность и эффективность поиска. Это делает HyST привлекательным решением для реальных задач, где необходима высокая точность в обработке пользовательских запросов. ## Выводы В хо