Information-Theoretic Graph Fusion with Vision-Language-Action Model for Policy Reasoning and Dual Robotic Control

## КОНТЕКСТ И ПРОБЛЕМАТИКА Развитие робототехники требует создания систем, способных учиться на основе человеческих демонстраций. Однако традиционные подходы, основанные на имитации низкоуровневых траекторий, сталкиваются со сложностями при адаптации к различным типам объектов, пространственным конфигурациям и конфигурациям манипуляторов. Это ограничивает их применимость в реальных сценариях. Особенностью двуруких роботов является необходимость высокоуровневого пространственного и семантического восприятия, чтобы выполнять задачи, требующие координации между руками. Кроме того, существует проблема генерации политик поведения, которые могли бы быть легко интерпретируемыми и при этом эффективными в исполнении. В данной работе авторы решают эти проблемы, предложив фреймворк, который комбинирует визуальное, языковое и действительное восприятие для решения задач двурукого управления. Основная идея заключается в том, чтобы использовать теоретические подходы к обработке информации для выделения ключевых элементов сцены, таких как руки и объекты, и построить иерархические модели поведения, которые могут быть преобразованы в команды для робота. ## ПРЕДЛОЖЕННЫЙ МЕТОД Предлагаемый метод, названный **Graph-Fused Vision-Language-Action (GF-VLA)**, состоит из нескольких этапов. В первую очередь, система использует информационно-теоретические критерии для определения ключевых элементов сцены, таких как руки и объекты, с максимальной релевантностью к задаче. Это позволяет создать **временно упорядоченные сценовые графы**, которые захватывают взаимодействия между руками, объектами и другими элементами сцены. Затем, эти графы функционально связываются с языковым контекстом через трансформерную модель, которая генерирует **иерархические поведенческие деревья** (behavior trees). Эти деревья представляют собой структурированные планы действий, которые могут быть легко интерпретируемыми человеком. Для оптимизации исполнения в двуручных системах, авторы предлагают **политику выбора гриферов** (gripper selection policy), которая определяет оптимальное назначение рук для выполнения задачи без необходимости явного геометрического анализа. Это позволяет улучшить эффективность исполнения задач в двуручных конфигурациях. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на четырёх задачах двуручного строительства блоков, включая конструирование символических форм, строительство букв и перестройку геометрических форм. Использованы данные из RGB и Depth камер, которые позволяют моделировать реальные условия работы робота. Результаты показали, что метод GF-VLA достигает высокой точности в построении графов (более 95%) и сегментации подзадач (93%). Использование полученных политик поведения приводит к высоким показателям успешности захвата (94%), точности размещения объектов (89%) и общей успешности выполнения задач (90%). ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкий круг применений в области робототехники, особенно в задачах, требующих координации двух рук. Он может быть использован для обучения роботов на основе человеческих демонстраций в таких сферах, как производство, логистика и медицина. Одним из ключевых преимуществ является возможность генерировать интерпретируемые политики поведения, что упрощает отладку и модификацию задач. Кроме того, метод показывает высокую устойчивость к изменениям в пространственных и семантических условиях, что делает его применимым в различных сценариях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе был представлен фреймворк GF-VLA, который успешно решает задачи двуручного управления роботами на основе визуальных и языковых данных. Будущие исследования могут фокусироваться на расширении этого подхода для более сложных задач, включая работу в неструктурированных средах и с более сложными объектами. Также предлагается исследовать возможности интеграции этого метода с другими технологиями, такими как обучение с подкреплением, для дальнейшего улучшения производительности и автономности роботов.