Multimodal Data Storage and Retrieval for Embodied AI: A Survey

## Контекст Современные Embodied AI (EAI) системы взаимодействуют с физическим миром, создавая огромные многомодальные потоки данных. Эти данные характеризуются своей вариативностью и связанностью, что создает вызовы для их эффективного хранения и поиска. Традиционные методы управления данными не могут удовлетворить требования EAI, включая физическое углубление, низкую задержку доступа и динамическую масштабируемость. Эти проблемы поднимают вопросы о прочности и эффективности текущих систем, а также о необходимости развития новых подходов для удовлетворения потребностей EAI. ## Метод Данная статья основывается на систематическом обзоре более чем 180 исследований, направленных на разработку новых методов управления многомодальными данными. Она разбивается на два основных аспекта: 1. **Хранилище данных**: Анализируются пять архитектур хранилища (Graph Databases, Multi-Model Databases, Data Lakes, Vector Databases, Time-Series Databases), сравнивая их с требованиями EAI. Особое внимание уделено таким аспектам, как поддержка физического углубления, высокая скорость доступа и масштабируемость. 2. **Поиск данных**: Описываются пять парадигм поиска (Fusion Strategy-Based Retrieval, Representation Alignment-Based Retrieval, Graph-Structure-Based Retrieval, Generation Model-Based Retrieval, Efficient Retrieval-Based Optimization), которые исследуются на примере различных сценариев, включая семантическую целостность и реальном времени. ## Результаты Исследование проводит предварительные эксперименты с использованием различных архитектур и методов поиска, чтобы оценить их эффективность в решении задач EAI. Эксперименты показали, что: - Архитектуры, такие как Vector Databases и Time-Series Databases, эффективно поддерживают физическое углубление и низкую задержку. - Методы, такие как Graph-Structure-Based Retrieval и Fusion Strategy-Based Retrieval, показали лучшие результаты в обеспечении семантической целостности. - Однако, существуют системные проблемы, такие как коллизии между реального времени и семантической связью, а также отклонения от нормальных распределений. ## Значимость Результаты этой статьи могут быть применены в области развития EAI-систем, включая искусственный зрение, робототехнику и системы управления. Они предлагают более эффективные способы хранения и поиска данных, что может существенно повысить производительность и надежность EAI-систем. Более того, внедрение этих подходов может привести к развитию новых технологий, таких как адаптивные системы управления и стандартизированные бенчмарки для EAI. ## Выводы Наша статья делает следующие главные выводы: - Необходимо развитие новых физически обоснованных моделей данных для решения проблем физического углубления. -