BED-LLM: Intelligent Information Gathering with LLMs and Bayesian Experimental Design

## Контекст Исследование рассматривает область интеллектуального группирования информации с использованием значимых технологий глубокого обучения, в частности, Байесовского экспериментального дизайна (BED). Логический мотив заключается в улучшении способности Large Language Models (LLMs) адаптироваться к участию в многоключевых беседах, взаимодействовать с внешними источниками данных и эффективно собирать информацию. Недостаток существующих подходов в том, что традиционные технологии не включают в себя интерактивного взаимодействия с пользователем и не учитывают последовательный характер сбора информации. Задача исследования — разработать новую методологию, позволяющую LLMs адаптироваться к сложным задачам информационного поиска и повысить точность решения пользовательских задач. ## Метод В центре исследования стоит концепция BED-LLM (Bayesian Experimental Design with Large Language Models), которая основывается на последовательном выборе запросов или вопросов, которые максимизируют ожидаемый прирост информации (Expected Information Gain, EIG) о целевой задаче. Метод использует прогностическую модель Байеса, в которой LLM строит свое внутреннее представление о реальности и использует его для принятия решений. Решение использует несколько ключевых инноваций, включая более точный алгоритм для вычисления EIG, не зависящий исключительно на входные данные, а также стратегию построения запросов, ориентированную на решение конкретных пользовательских задач. ## Результаты Исследования проводились на многочисленных тестах, в том числе использовались игры "20 вопросов" и задачи бинарного классификационного анализа. На этих тестах BED-LLM показал прирост в производительности в сравнении с традиционным подходом, основанным на LLMs, и даже с другими методами адаптивного дизайна. Был проведен эксперимент, где BED-LLM адаптивно изучал предпочтения пользователя в реальном времени. Результаты показали, что подход эффективно уменьшает число запросов, необходимых для достижения точного решения, и обеспечивает лучшую пользовательскую заинтересованность. ## Значимость Разработанный подход имеет широкое применение в области принятия решений в сложных средах, бизнес-анализе, медицине, информационной безопасности и других областях, где необходимо адаптивное взаимодействие с пользователем. Основные преимущества — увеличение точности решений и эффективность в решении задач с нетривиальными условиями. Логическое влияние — это возможность значительного улучшения интеллектуальных систем, в том числе роботов-консультантов, интеллектуальных авторов и диагностических систем. ## Выводы Ре