Pathways of Thoughts: Multi-Directional Thinking for Long-form Personalized Question Answering
2509.19094v1
cs.CL, cs.AI, cs.IR
2025-09-25
Авторы:
Alireza Salemi, Cheng Li, Mingyang Zhang, Qiaozhu Mei, Zhuowan Li, Spurthi Amba Hombaiah, Weize Kong, Tao Chen, Hamed Zamani, Michael Bendersky
Резюме на русском
## Контекст
Персонализация вопроса-ответа (QA) является ключевым фактором для улучшения системы ответа на вопросы, адаптируя ее к конкретным потребностям пользователя. Подобная персонализация повышает точность ответов и удовлетворенность пользователей. Однако личная задача QA остается недооцененной из-за сложностей, таких как вывод приדыхательных предпочтений из длинных, шумных и неявных контекстов, а также генерация ответов, которые были бы в то же время точными, контекстуально подходящими и соответствующими ожиданиям пользователей и своим фоновым знаниям. Чтобы справиться с этими вызовами, предлагается подход Pathways of Thoughts (PoT), который может быть применен к любому большому языковому модели (LLM) без необходимости дорогостоящего переобучения.
## Метод
Подход PoT интерпретирует процесс рассуждения LLM как итеративный процесс принятия решений, где модель выбирает из нескольких моментов рассуждения, таких как рассуждение, пересмотр, персонализация и уточнение. Это позволяет рассмотреть несколько логических траекторий, производя разнообразные кандидатские ответы, которые отражают различные точки зрения. Затем PoT агрегирует и перераспределяет эти кандидаты в соответствии с интерпретированными пользовательскими предпочтениями, чтобы получить последний ответ, который объединяет достоинства множества логических траекторий. Основные моменты:
- **Многонаправленные рассуждения**: PoT развивает несколько потенциальных логических траекторий, чтобы отражать широкий спектр возможных точек зрения.
- **Персонализация**: Модель интерпретирует пользовательские предпочтения на основе контекста, чтобы избежать неточностей и неверных предположений.
- **Решение в реальном времени**: PoT применяет динамические выборки между моментами рассуждения, чтобы принимать решения во время работы.
## Результаты
Исследования проводились на наборе данных LaMP-QA, предназначенном для задачи персонализации QA. Эксперименты показали, что PoT превосходит современные подходы, демонстрируя до 13,1% относительного улучшения в точности. Человеко-анализ подтвердил эти результаты: 66% ответов, сгенерированных с помощью PoT, были считаны лучшими, а только 15% ответов привели к спорным ситуациям. Эти результаты показывают, что PoT эффективно интегрирует несколько логических траекторий для генерирования ответов, которые являются точными, контекстуально подходящими и удовлетворяют ожиданиям пользователя.
## Значимость
Протокол PoT может быть применен в различных сценариях, таких как общение с ботами, техническая поддержка и медицинское консультирование. Он предоставляет сле
Abstract
Personalization is essential for adapting question answering (QA) systems to
user-specific information needs, thereby improving both accuracy and user
satisfaction. However, personalized QA remains relatively underexplored due to
challenges such as inferring preferences from long, noisy, and implicit
contexts, and generating responses that are simultaneously correct,
contextually appropriate, and aligned with user expectations and background
knowledge. To address these challenges, we propose Pathways of Thoughts (PoT),
an inference-stage method that applies to any large language model (LLM)
without requiring task-specific fine-tuning. The approach models the reasoning
of an LLM as an iterative decision process, where the model dynamically selects
among cognitive operations such as reasoning, revision, personalization, and
clarification. This enables exploration of multiple reasoning trajectories,
producing diverse candidate responses that capture different perspectives. PoT
then aggregates and reweights these candidates according to inferred user
preferences, yielding a final personalized response that benefits from the
complementary strengths of diverse reasoning paths. Experiments on the LaMP-QA
benchmark for personalized QA show that PoT consistently outperforms
competitive baselines, achieving up to a 13.1% relative improvement. Human
evaluation corroborates these results, with annotators preferring outputs from
PoT in 66% of cases and reporting ties in only 15% of cases.
Ссылки и действия
Дополнительные ресурсы: