## Контекст Long-term разговорные системы, такие как голосовые помощники и агенты для бесед, сталкиваются с значительными проблемами при управлении большим объемом диалоговой истории. Это связано с ограниченной емкостью контекстных окней в современных технологиях, таких как large language models (LLMs). Хотя существуют методы, основанные на факт-выдержках или сводках, они не могут грамотно организовать и восстановить релевантную информацию в разных гранулярностях диалога (от тура до сессии). Это приводит к неэффективной работе моделей. Наша модель SGMem (Sentence Graph Memory) представляет диалог в виде графов на уровне предложений, позволяя лучше учитывать связи между разными уровнями контекста, что обеспечивает более точную генерацию ответов. ## Метод SGMem представляет диалог как граф, где каждое предложение является вершиной, а связи (edges) определяются на основе гранулярности контекста. Мы используем chunked units для разбиения диалога на сегменты, например, туры или сеансы, и применяем глубокую нейронную сеть для графов (Graph Neural Network, GNN) для извлечения связей. Модель сочетает в себе генерированную память (например, сводки или факты) с вводимым контекстом, обеспечивая LLMs более структурированный и значимый контекст для генерации ответов. ## Результаты Мы проверили SGMem на двух наборах данных: LongMemEval и LoCoMo. Эти наборы покрывают различные типы задач в диалоговой системе, включая контекстный QA (вопрос-ответ) и логическую консистентность. Результаты показали, что SGMem превосходит существующие базовые модели в долгосрочных задачах QA, улучшая точность и сокращая ошибки при восстановлении ключевой информации на 20-30%. Эти результаты подтверждают значительное улучшение в организации и получении контекста. ## Значимость SGMem может применяться в сферах, требующих долгосрочной памяти и точного восприятия диалога, например, в системах поддержки клиентов, здравоохранения и управления. Оно предлагает улучшенную способность управлять диалоговыми историями, уменьшая необходимость в постоянном обучении моделей. Это может привести к экономии ресурсов, повышению эффективности взаимодействия и улучшению пользовательского опыта в различных цифровых системах. ## Выводы SGMem представляет собой эффективное решение для управления контекстом в диалоговых системах. Мы доказали, что этот подход может значительно улучшить точность и качество генерированных ответов в долгосрочных диалогах. Будущие работы будут нацелены на повышение скорости обработки и расширение возможностей SGMem для более сложных и многоуровневых диалог

#### Контекст В последнее время граф-ориентированная восстановленная получение (Graph-based Retrieval-Augmented Generation, RAG) получила популярность в области технологий обработки естественного языка. Она обогащает большие языковые модели (LLMs) снаружиготовой знаниями для решения задач, требующих длинных контекстов и нескольких шагов рассуждений. Однако существующие методы сталкиваются с проблемой гранулярности: тонкому разбиению на сущности возникают высокие затраты на токены, что приводит к утере контекста, а крупномасштабные документы не удается полностью охватить статистические связи. Это конфликт приводит к неэффективности в области многошагового рассуждения. Для решения этой проблемы был предложен подход, ориентированный на запрос, который более эффективно обрабатывает запросы на основе графов с управляемой гранулярностью. #### Метод Методология QCG-RAG основывается на создании запроса-центричных графов с использованием Doc2Query и Doc2Query-{}{-}. Эти графы построены на основе запросов и структурных элементов документов, что позволяет управлять гранулярностью. Чтобы улучшить качество графа и его интерпретируемость, метод Doc2Query{-}{-} используется для более точного отображения контекста. Для выбора актуальных чанков входного запроса используется новая механика поиска с несколькими шагами, которая позволяет построить интерпретируемое и эффективное решение. Этот подход представляет собой новую модель для многошаговых рассуждений, обеспечивая улучшенное качество ответа. #### Результаты В экспериментах, проведенных на датасетовах LiHuaWorld и MultiHop-RAG, QCG-RAG показал существенные достижения в сравнении с другими подходами. Он улучшил точность ответов в задачах восстановления и многошагового рассуждения, показав свою эффективность в обработке запросов, требующих длинных контекстов. Эти результаты подтвердят преимущества QCG-RAG в сравнении с традиционными методами, устанавливая новую модель для решения задач в области многошагового обработки естественного языка. #### Значимость QCG-RAG может применяться в различных сферах, где требуются длинные контексты и многошаговые рассуждения, таких как распознавание речи, создание текста и вопрос-ответ-системы. Он обеспечивает улучшенную точность и интерпретируемость, что создает более эффективный подход к обработке естественного языка. Этот подход также может существенно повлиять на развитие технологий, обеспечивая более точную и эффективную обработку данных в различных приложениях. #### Выводы Исследование QCG-RAG устанавливает новую модель для многошагового рассуждения, показывая его п