Nemori: Self-Organizing Agent Memory Inspired by Cognitive Science

## КОНТЕКСТ И ПРОБЛЕМАТИКА Распространение Large Language Models (LLMs) открыло новые возможности для разработки автономных агентов, способных вести динамические, долгосрочные взаимодействия с пользователями. Однако одной из ключевых проблем, ограничивающих эффективность LLMs в таких сценариях, является их неспособность поддерживать постоянную память в длинных контекстах. Традиционные подходы к управлению памятью в LLMs зависят от произвольной гранулярности при определении базовых единиц памяти и используют пассивные, правиловые механизмы для извлечения информации. Эти ограничения не позволяют моделям эффективно адаптироваться к динамическим, долгосрочным рабочим процессам, что снижает их практическую применимость. Для решения этой проблематики необходим метод, который мог бы организовывать информацию в памяти агента на основе семантических принципов, а не произвольных правил. Также важно обеспечить активный процесс обучения, позволяющий модели активно адаптироваться к новым ситуациям и улучшать свои знания на основе ошибок. На основе этих требований была разработка архитектуры Nemori, вдохновленная принципами когнитивной науки. ## ПРЕДЛОЖЕННЫЙ МЕТОД Nemori представляет новую архитектуру памяти, основанную на двух ключевых принципах. Первый — **Two-Step Alignment Principle**, вдохновленный теорией сегментации событий (Event Segmentation Theory). Этот принцип позволяет автоматически организовывать неструктурированный поток диалогов в семантически согласованные эпизоды, решая проблему гранулярности памяти. Эта процедура разбиения на эпизоды основывается на топорном анализе событий, что обеспечивает высокую семантическую консистенцию. Второй принцип — **Predict-Calibrate Principle**, вдохновленный Free-energy Principle. Этот механизм позволяет агенту активно учиться на основе прогнозных ошибок, преобразуя их в возможности для адаптации и эволюции своих знаний. Агент не только фиксирует новую информацию, но и проверяет свои прогнозы на основе контекста, корректируя свои знания в процессе взаимодействия. Архитектура Nemori сочетает эти принципы в единой системе, которая позволяет агенту динамически организовывать и адаптировать свою память в ответ на изменчивые условия. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности Nemori были проведены эксперименты на двух бенчмарках: LoCoMo и LongMemEval. Эти бенчмарки предназначены для оценки способности моделей обрабатывать длинные контексты и долгосрочные взаимодействия. Nemori демонстрирует значительное превосходство над предыдущими государственными решениями, особенно в ситуациях с длинными контекстами. Результаты показывают, что Nemori не только лучше организовывает память, но и демонстрирует улучшенную способность к адаптации и обучению в реальном времени. Это обеспечивает значительное увеличение точности и согласованности в долгосрочных взаимодействиях. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Nemori имеет широкий спектр применений в областях, требующих долгосрочного взаимодействия, таких как поддержка клиентов, образование и здравоохранение. Его способность активно адаптироваться и эволюционировать делает его идеальным инструментом для автономных агентов, которые должны обрабатывать сложные, динамические рабочие процессы. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Nemori является значительным шагом вперед в области автономных агентов, основанных на LLMs. Его инновационные принципы обеспечивают эффективное управление памятью и адаптацию к динамическим условиям. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры и расширении ее применения в реальных сценариях.