Meta-Memory: Retrieving and Integrating Semantic-Spatial Memories for Robot Spatial Reasoning

#### Контекст Проблема эффективного навигационного поведения роботов в сложных пространственных средах остается весьма актуальной в современной робототехнике. Основной задачей здесь является моделирование и моделирование семантических и пространственных памяти, которые позволяют роботу отвечать на запросы о расположении объектов, а также выполнять логические операции в пространстве. Несмотря на то, что ранее были предложены модели, собирающие информацию о пространстве, многие из них не рассматривали обобщенную стратегию для обработки и интеграции семантических и пространственных памятных элементов. Наша модель Meta-Memory предлагает новый подход к этой проблеме, основываясь на обучении г LLM-агента, который может эффективно обрабатывать сложные запросы к памяти и предоставлять точные ответы на пространственные запросы. #### Метод Meta-Memory представляет собой новую архитектуру, основанную на глубоком обучении и LLM-технологиях. Мы реализовали метод, который может хранить семантические и пространственные данные в высоко-резолюционной памяти. Работа агента основывается на двух ключевых компонентах: **семантической интеграции** и **пространственной интеграции**. Мы используем генеративные модели LLM для получения высококачественных представлений объектов и их расположений. Для решения задач пространственного логического поиска и моделирования мы разработали систему, которая может обрабатывать запросы в естественной речи и ретроактивно интегрировать ответы в свое понимание пространства. #### Результаты Мы проверили производительность Meta-Memory на двух разных наборах данных: **SpaceLocQA** и **NaVQA**. На SpaceLocQA, который содержит различные сценарии пространственного разума, Meta-Memory показал существенный выигрыш в точности при сравнении с другими методами. На бенчмарке NaVQA, который используется для оценки пространственного разума роботов, был получен результат, который также значительно превосходит текущие решения. Мы также провели эксперименты на реальных роботских платформах, подтвердив, что Meta-Memory может работать в реальных условиях и предоставлять точные ответы на пространственные запросы. #### Значимость Наша модель открывает новые возможности в области пространственного разума роботов. Она может быть применена в различных задачах, таких как виртуальные помощники, системы мониторинга, а также в разработке систем интерактивного обучения. Наш подход позволяет роботу эффективно обрабатывать пространственные запросы, что значительно повышает удобство и реализуемость в сложных пространственных средах. Мы также отметили, что наша модель имеет потенциал для расширения в области общей предметной памяти и