#### Контекст В последние годы возникло значительное интерес к видным-языковым моделям (VLMs) в различных областях, включая управление непилотируемыми летательными аппаратами (UAV). Однако существующие VLM-подобные подходы для авиационной визуальной лингвистики (AVLN) часто требуют кастомизации и сложности в обучении, что ограничивает их универсальность и применимость. Кроме того, нетрудно заметить, что большинство текущих систем требуют значительного обучения для адаптации к различным средам и задачам, что снижает их эффективность. Таким образом, возникает потребность в разработке универсального, без обучения фреймворка для AVLN, который мог бы преодолеть эти ограничения и обеспечивать более гибкое управление UAV. #### Метод Мы предлагаем See, Point, Fly (SPF) — универсальный фреймворк для AVLN, основанный на VLMs, который не требует значительного обучения. Фреймворк SPF использует визуально-языковую модель для разбиения неоднозначных текстовых инструкций на последовательность команд навигации. В частности, SPF преобразует текстовые команды навигации в 2D-способность, позволяя UAV представить целевую точку в пространстве в виде последовательных 2D-waypoints. Далее, SPF преобразует эти 2D-waypoints в 3D-дисплесности и трансформирует их в команды для UAVs. Этот подход обеспечивает универсальную навигацию, включая динамическую среду и dynamic target tracking. Также SPF использует adaptive distance control, чтобы сделать навигацию более эффективной. Эта архитектура может быть применена к различным VLMs без потери эффективности. #### Результаты Мы провели различные эксперименты, чтобы продемонстрировать эффективность SPF. Использовались данные из DRL-симулятора и реального мира для оценки производительности. На DRL-бенчмарке SPF показал существенное улучшение по сравнению с предыдущим лучшим методом, повысив до 63% в абсолютных числах. В реальном мире SPF также показал значительные выигрыши по сравнению с другими сильными базисами. Мы также провели аблационные исследования, чтобы подтвердить эффективность нашего подхода. Дополнительно, SPF показал надежную общность с различными VLMs, что демонстрирует его универсальность. #### Значимость SPF представляет собой значительный прорыв в области AVLN, обеспечивая универсальную, без обучения систему, которая может работать в различных средах и задачах. Он может быть применен в сферах, таких как поиск и спасательные операции, разведка, доставка и другие. SPF обеспечивает более эффективное и универсальное управление UAV, в том числе в динамических средах. Благодаря своей гибкости

## Контекст Современные автономные системы движения сталкиваются с рядом сложностей в обеспечении безопасности и эффективности поведения в реальном мире. Одним из ключевых аспектов является точная интерпретация информации среды, чтобы сформировать безопасные и оптимальные маршруты. Vision-Language-Action (VLA) модели, основанные на технологиях Vision-Language Models (VLMs), представляют собой отражение этой сложности, которая включает в себя глубокую интеграцию визуального, языкового и действительного пространства. Однако существующие подходы часто страдают от ограниченности имитационного обучения, недостаточной внедрения физических правил и высокой сложности в построении безопасных маршрутов. Наша работа ориентируется на решение этих проблем, особенно в условиях безопасности движения. ## Метод Мы предлагаем ReflectDrive, новую архитектуру, основанную на дискретной диффузии для рефлективного видения-языкового-действительного моделирования. Метод включает в себя несколько ключевых элементов: 1. **Дискретизация действительного пространства**: Мы превращаем двухмерное пространство вокруг автомобиля в кодебук действий, что позволяет использовать прогностические модели языка для планирования. 2. **Отражение (Reflection)**: Мы ввели безопасность-акцентированный механизм, который исправляет потенциальные неточности без необходимости расчетов производных. Этот механизм работает в цикле, применяя самокоррекцию. 3. **Целесообразное траекторирование**: Мы используем условное траекторирование, чтобы обеспечить многомодальность поведения. 4. **Локальный поиск**: Мы применяем локальный поиск для определения небезопасных токенов и используем интерполяцию для исправления. ## Результаты Мы провели эксперименты на NAVSIM, отражающем реальные условия автономного вождения. ReflectDrive показал существенные преимущества в сравнении с другими методами, особенно в сфере безопасности. Мы измерили следующие критерии: - **Безопасность**: ReflectDrive значительно снижает количество небезопасных ситуаций. - **Эффективность**: Метод работает быстрее, чем альтернативы, благодаря использованию дискретных моделей. - **Точность**: Результаты показали значительное улучшение в планировании маршрутов. ## Значимость Выводы данной работы могут быть применены в различных областях, включая автономную транспортную систему, системы безопасности дорог и управление роботами. Основные преимущества: - **Безопасность**: Метод предлагает новую модель для безопасного планирования маршрутов. - **Эффективность**: Использование дискретных моде

## Контекст Исследование HARMONIC адресовано развитию нового поколения роботов, входящих в состав гуманоидных команд. Основной подход включает в себя развитие моделей, реализующих понимание смысла, осмысленные решения и языковое общение на подобие человеческого. Эти технологии позволяют роботам безопасно и эффективно сотрудничать с людьми в различных сферах, включая транспорт, промышленность, строительство, и улучшают качество жизни человеческого общества. Существующие системы могут оставлять желать лучшего в области безопасности, удобства и быстроты реакции на ситуации. Изучение и решение этих проблем становится ключевым мотивом этого исследования, нацеленного на создание безопасной и зрелой архитектуры роботов, обладающих прозрачностью и доверительным отношением к сотрудничеству. ## Метод HARMONIC архитектура носит семантический характер и состоит из нескольких модулей, которые обеспечивают комплексное понимание окружающей среды, нейро-эвристическое моделирование и нетерминированное поведение. Основные модули: (1) **Perception and Semantic Interpretation**, который обрабатывает значимость входных данных и их контекстуальную интерпретацию; (2) **Reasoning and Decision-Making**, который решает целевые задачи на основе логически-символических и нейронных моделей; (3) **Language Communication**, обеспечивающий логический вывод и языковой интерпретатор для обеспечения человечественного общения. Архитектура разрабатывается как модульная система, позволяющая удобной интеграции в различные модели роботов. ## Результаты Экспериментальные испытания проводились на двух роботизированных платформах: (1) **HARMONIC-based humanoid robot** и (2) **HARMONIC-based manipulator robot**. Эти роботы реализованы в симуляционной среде и на физических платформах, чтобы протестировать их возможности в реальном времени. Результаты показали, что HARMONIC успешно решает задачи понимания смысла, принятия решений и безопасного отношения к сотрудничеству. Эмоциональное моделирование и метакогнитивные возможности также подтвердили качественную работу архитектуры в гуманоидных ситуациях. ## Значимость HARMONIC может быть применена во многих областях, включая транспортное, производственное, здравоохранение, и жилищное хозяйство. Она обеспечивает безопасную и интеллектуальную систему, которая может работать в сложных и непредсказуемых средах. Надежность, доверие и прозрачность HARMONIC позволяют ей стать ключевым инструментом в развитии робототехники. Благодаря интеллектуальной интеграции, она оказывается эффективной для решения проблем нехватки данных и

## Контекст Vision-and-Language Navigation in Continuous Environments (VLN-CE) является одной из ключевых функций для обеспечения взаимодействия облегчённых роботов с реальным миром. Она связывает языковые инструкции с восприятием и действиями в реальной среде. Несмотря на то, что последние годы данная область получила значительный прогресс, существуют трудности, связанные с ограниченным доступом к данным, высокой стоимостью восприятия и неэффективностью планирования. В попытках улучшить эти аспекты, данная работа предлагает инновационный подход, который нацелен на повышение точности и эффективности в VLN-CE. ## Метод DreamNav — это архитектура, основанная на прогностическом планировании, которая включает в себя три основных компонента: (1) **EgoView Corrector** для корректировки нарушений в зрении и улучшения его стабильности, (2) **Trajectory Predictor**, который реализует глобальное планирование на более высоком уровне, чтобы улучшить соответствие активности инструкциям, и (3) **Imagination Predictor**, который добавляет в систему прогностическую способность, позволяющую роботу предполагать дальнейшие действия на более длительные периоды времени. Эти компоненты объединены в единую систему, чтобы обеспечить более эффективное и точное взаимодействие робота с реальным миром. ## Результаты На основе экспериментов на VLN-CE и реальных тестах DreamNav показал выдающиеся результаты. Он завоевал новый zero-shot state-of-the-art (SOTA), повысив результаты по метрикам Success Rate (SR) и Success weighted by Path Length (SPL) на 7.49% и 18.15% соответственно, в сравнении с самым близким конкурентом, использующим дополнительную информацию. Эти результаты отвечают высоким стандартам эффективности и реалистичности в VLN-CE. ## Значимость Данный подход может быть применён в различных областях, включая робототехнику, виртуальную реальность и интеллектуальные системы управления. Он обеспечивает более точное планирование, экономичность в реализации и улучшенную стабильность. Таким образом, он открывает новые возможности для применения в реальном мире, улучшая качество и эффективность взаимодействия роботов с окружающим миром. ## Выводы Разработанная система DreamNav представляет собой новую модель zero-shot VLN, которая стабильно улучшает результаты в многих аспектах. В дальнейшем, авторы планируют расширить возможности данного подхода, ориентируясь на более сложные сценарии и более высокую степень интеграции с окружающим миром.