Embodied AI: From LLMs to World Models

## Контекст Embodied Artificial Intelligence (AI) представляет собой интеллектуальную систему, нацеленную на достижение Артифициального Общего Разума (AGI) и являющуюся основой для различных приложений. Она возглавляет переход от искусственных систем в синтетических пространствах к интеллектуальным системам, овладевающим физическими системами. Недавние достижения в области Large Language Models (LLMs) и World Models (WMs) стали значительным ускорением развития Embodied AI. LLMs возвели Embodied AI на новый уровень, способствуя семантическому разуму и декомпозиции задач, что позволяет использовать естественный язык для общения в рамках обучения. WMs, в свою очередь, позволяют эмбодированным системам внутренне представлять внешний мир и предсказывать его развитие, обеспечивая соответствие физическим законам при физических взаимодействиях. Этот труд подробно рассмотрел литературу по Embodied AI, от основных понятий до самых современных достижений, рассматривая как LLM-ориентированные, так и WM-ориентированные работы. ## Метод Методология, описанная в статье, охватывает всю ширину Embodied AI, стремясь к созданию комплексного подхода к её развитию. Технические решения основываются на использовании LLMs для улучшения естественного языка и понимания, а также WMs для представления внешнего мира и моделирования взаимодействия. Архитектура Embodied AI, как описано, строится на взаимодействии между этими двумя компонентами. Мультимодальные LLM (MLLM) и WMs объединяются в единую систему, чтобы позволить системе решать задачи в физическом пространстве с помощью естественного языка и понимания физических законов. Эта методология представляет собой современный подход к созданию систем, которые могут не только понимать естественный язык, но и взаимодействовать с физическим миром, придерживаясь его законов. ## Результаты Эксперименты, описанные в статье, установили связь между LLM-оптимизацией и WMs в рамках Embodied AI. Использовались различные данные, включая естественный язык, видео и сенсорные данные, чтобы проверить эффективность различных моделей. Результаты показали, что объединение LLM-моделей и WMs приводит к значительному улучшению в том, как системы могут решать задачи в физическом мире. Например, в сценарии, где необходимо использовать естественный язык для управления физическим интерфейсом, системы, основанные на этой архитектуре, показали значительное преимущество по сравнению с моделями, ориентированными только на один из этих двух аспектов. ## Значимость Практическая значимость Embodied AI заключается в том, что она может применяться в различных сферах, включая робототехни