LLaDA-VLA: Vision Language Diffusion Action Models

#### Контекст В последние годы становится все более очевидным, что визуально-языковые модели (VLMs) успешно применяются в различных областях, включая робототехнику и работу с роботами. Однако существуют значительные проблемы в применении этих моделей в реальных задачах, таких как политика управления роботами. Для применения в робототехнике необходимы модели, которые могли бы учитывать взаимодействие между визуальным входом, языковыми командами и действиями. Например, для робота, выполняющего задачи в сложных средах, требуется модель, которая бы способна была прогнозировать действия на основе визуальных сигналов и текстовых команд. Эти проблемы побудили разработчиков развивать модели, которые могли бы учитывать все эти аспекты. #### Метод Мы предлагаем LLaDA-VLA, первую модель Vision-Language-Diffusion-Action (VLA), которая основывается на предобученных моделях с использованием метода масочевой диффузии (masked diffusion models). Модель LLaDA-VLA состоит из двух ключевых компонентов: (1) стратегии классификации специальных токенов, которая заменяет полноверсийный классификатор на классификатор только для специальных токенов; (2) стратегии декодирования, которая распределяет действия в последовательности с учетом зависимостей между ними. Это позволяет решить проблему применения d-VLMs в задачах робототехники, создавая более эффективную модель для обучения политики робота. #### Результаты Мы провели многочисленные эксперименты, используя различные данные, включая симуляцию и реальные роботы. Эксперименты показали, что LLaDA-VLA значительно улучшает результаты в сравнении с другими VLAs (Vision-Language-Action) для обучения политики. Мы проверили модель на различных задачах, таких как распознавание действий, понимание текстовых команд и совершение конкретных действий в реальной среде. Результаты показали, что LLaDA-VLA обеспечивает более точное и быстрое решение задач в сравнении с другими моделями. #### Значимость Лада-VLA может быть применена в различных областях, включая робототехнику, автоматизацию производства, видеоаналитику и даже в развитии интеллектуальных систем, которые могут взаимодействовать с человеком. Одним из основных преимуществ модели является ее универсальность и мощность в обработке визуальных и текстовых данных. Это может повысить эффективность и точность в работе с роботами, а также сделать их более удобными для применения в реальных условиях. #### Выводы Мы доказали, что LLaDA-VLA является эффективной моделью для обучения политики роботов, которая может решать задачи в жирых условиях. Мы также выделили направления для дальнейших исследований, такие как улучшение точности к