QueryBandits for Hallucination Mitigation: Exploiting Semantic Features for No-Regret Rewriting

#### Контекст Стоимость и повышенная частота выхода за рамки фактичности (hallucination) в системах на основе Large Language Models (LLMs) становится все более выраженной. Хотя многие подходы ориентируются на фильтрацию результатов после их получения, менее исследованы подходы, направленные на прогностическую модификацию входных запросов для предотвращения выхода LLMs из рамков фактур. Этот вопрос особенно актуален для задач, требующих высокой точности и надежности, например, в медицинских и юридических сферах. #### Метод Мы предлагаем QueryBandits, фреймворк, основанный на бандитной многоразрядной модели, который использует 17 семантических признаков запросов для оптимизации регрессионной функции наград. Эта модель принимает во внимание чувствительность запросов к языковым особенностям, которые влияют на тенденцию LLMs к выводу за рамки фактичности. QueryBandits стремится проактивно изменять запросы, чтобы увеличить точность ответов LLMs и уменьшить риск выхода за рамки фактур. #### Результаты Мы использовали 13 различных бенчмарков для оценки эффективности QueryBandits. Наша реализация с Томпсоновским выбором показала 87.5% выигрышный результат по сравнению с базовым вариантом без редактирования запросов. Также, QueryBandits превосходит другие статические подходы, такие как "парафразировать" и "расширять" запросы, на 42.6% и 60.3% соответственно. Интересно, что некоторые статические подходы к редактированию запросов демонстрируют большую суммарную отдачу (regret) по сравнению с базовым вариантом, что указывает на то, что они могут ухудшать выход за рамки фактур. #### Значимость Протоколы QueryBandits могут быть применены в сферах, где точность и надежность критичны, таких как медицина, юриспруденция и финансы. Наш подход демонстрирует преимущества перед статическими методами, показывая, что прогностическое редактирование запросов может быть более эффективным, чем простое модифицирование результатов. Это открывает пути для более широкого применения LLMs в решении задач, требующих высокой точности. #### Выводы Исследования показывают, что QueryBandits могут значительно улучшить точность LLM-моделей, проверяя и модифицируя входные запросы. Наш подход позволяет избежать последствий выхода за рамки фактур без необходимости переучивать модель. Будущие исследования будут фокусироваться на усовершенствовании моделей бандитных фреймворков и их применении в реальных ситуациях, включая задачи с высокой степенью ответственности.