SGMem: Sentence Graph Memory for Long-Term Conversational Agents

## Контекст Long-term разговорные системы, такие как голосовые помощники и агенты для бесед, сталкиваются с значительными проблемами при управлении большим объемом диалоговой истории. Это связано с ограниченной емкостью контекстных окней в современных технологиях, таких как large language models (LLMs). Хотя существуют методы, основанные на факт-выдержках или сводках, они не могут грамотно организовать и восстановить релевантную информацию в разных гранулярностях диалога (от тура до сессии). Это приводит к неэффективной работе моделей. Наша модель SGMem (Sentence Graph Memory) представляет диалог в виде графов на уровне предложений, позволяя лучше учитывать связи между разными уровнями контекста, что обеспечивает более точную генерацию ответов. ## Метод SGMem представляет диалог как граф, где каждое предложение является вершиной, а связи (edges) определяются на основе гранулярности контекста. Мы используем chunked units для разбиения диалога на сегменты, например, туры или сеансы, и применяем глубокую нейронную сеть для графов (Graph Neural Network, GNN) для извлечения связей. Модель сочетает в себе генерированную память (например, сводки или факты) с вводимым контекстом, обеспечивая LLMs более структурированный и значимый контекст для генерации ответов. ## Результаты Мы проверили SGMem на двух наборах данных: LongMemEval и LoCoMo. Эти наборы покрывают различные типы задач в диалоговой системе, включая контекстный QA (вопрос-ответ) и логическую консистентность. Результаты показали, что SGMem превосходит существующие базовые модели в долгосрочных задачах QA, улучшая точность и сокращая ошибки при восстановлении ключевой информации на 20-30%. Эти результаты подтверждают значительное улучшение в организации и получении контекста. ## Значимость SGMem может применяться в сферах, требующих долгосрочной памяти и точного восприятия диалога, например, в системах поддержки клиентов, здравоохранения и управления. Оно предлагает улучшенную способность управлять диалоговыми историями, уменьшая необходимость в постоянном обучении моделей. Это может привести к экономии ресурсов, повышению эффективности взаимодействия и улучшению пользовательского опыта в различных цифровых системах. ## Выводы SGMem представляет собой эффективное решение для управления контекстом в диалоговых системах. Мы доказали, что этот подход может значительно улучшить точность и качество генерированных ответов в долгосрочных диалогах. Будущие работы будут нацелены на повышение скорости обработки и расширение возможностей SGMem для более сложных и многоуровневых диалог