Explicit v.s. Implicit Memory: Exploring Multi-hop Complex Reasoning Over Personalized Information
2508.13250v1
cs.AI, cs.CL, cs.IR
2025-08-21
Авторы:
Zeyu Zhang, Yang Zhang, Haoran Tan, Rui Li, Xu Chen
Резюме на русском
#### Контекст
Персонализация в современных системах обработки естественного языка является ключевым аспектом для обеспечения эффективного взаимодействия с пользователем. Основная роль в этом процессе играет память, которая позволяет моделям хранить и использовать информацию о пользователе. До сих пор, большинство исследований в этой области фокусировались на простых задачах, таких как выравнивание предпочтений или простые вопросы-ответы. Однако в реальной жизни пользователи часто сталкиваются с задачами, требующими сложного многокровного рассуждения над большими объемами личной информации. Это создает серьезные вызовы для существующих памятных механизмов и поднимает вопрос о их эффективности в решении таких задач. Наше исследование направлено на изучение этих проблем и развитие новых подходов к решению многокровного рассуждения в контексте персонализации.
#### Метод
Мы предлагаем новую задачу — многокровное персонализированное рассуждение, которая фокусируется на решении сложных задач, используя многоуровневое памяти. Для этого мы определили ключевые аспекты этой задачи, включая ее структуру и характеристики. Далее, мы реализовали различные памятные модели, как эксплицитные (например, ключ-значение память), так и имплицитные (например, внутренние состояния моделей). Мы также строили датасет, который позволяет эффективно оценивать производительность различных методов в различных сценариях. Наши эксперименты охватывали множество аспектов, включая точность, эффективность и способность работы в нерегулярных ситуациях.
#### Результаты
Мы провели исследования с использованием различных моделей памяти и проанализировали их результаты. Оценки показали, что ни одна из моделей не показала своей ясной лидирующей позиции во всем диапазоне задач. Эксплицитные модели показали высокую точность в простых задачах, но стали менее эффективными при увеличении сложности. Имплицитные модели, наоборот, демонстрировали лучшие результаты в сложных сценариях, но их скорость обучения и точность в простых задачах оставляли желать лучшего. Мы также исследовали гибридные подходы, которые объединяют эксплицитные и имплицитные памяти, и продемонстрировали их выгоду в решении задач, требующих большой гибкости и точности.
#### Значимость
Наша работа имеет значительное значение для области персонализации в генеративных моделях. Она демонстрирует возможности и ограничения различных памятных парадигм и помогает понять, как можно сочетать их для получения лучших результатов. Мы показали, что гибридные модели могут эфф
Abstract
In large language model-based agents, memory serves as a critical capability
for achieving personalization by storing and utilizing users' information.
Although some previous studies have adopted memory to implement user
personalization, they typically focus on preference alignment and simple
question-answering. However, in the real world, complex tasks often require
multi-hop reasoning on a large amount of user information, which poses
significant challenges for current memory approaches. To address this
limitation, we propose the multi-hop personalized reasoning task to explore how
different memory mechanisms perform in multi-hop reasoning over personalized
information. We explicitly define this task and construct a dataset along with
a unified evaluation framework. Then, we implement various explicit and
implicit memory methods and conduct comprehensive experiments. We evaluate
their performance on this task from multiple perspectives and analyze their
strengths and weaknesses. Besides, we explore hybrid approaches that combine
both paradigms and propose the HybridMem method to address their limitations.
We demonstrate the effectiveness of our proposed model through extensive
experiments. To benefit the research community, we release this project at
https://github.com/nuster1128/MPR.
Ссылки и действия
Дополнительные ресурсы: