## Контекст Визуально-языково-действительные (Vision-Language-Action, VLA) модели представляют собой мощные инструменты для выполнения сложных задач в реальном мире, особенно в сфере робототехники. Однако эти модели часто сталкиваются с проблемами эффективности, возникающими из-за тяжеловесной вычислительной нагрузки, связанной с использованием внимательных методов (attention-based methods) на больших множествах визуальных токенов. Эта проблема становится особенно критической при развертывании на ресурс-ограниченных платформах, таких как мобильные устройства или роботы с ограниченными вычислительными возможностями. Напрямую решать эту проблему требует создания методов, способных эффективно снижать нагрузку, не ухудшая получаемые результаты. Наше исследование сосредоточено на развитии такого подхода, способного обеспечить эффективность в реальном времени и сохранить высокую точность выполнения задач. ## Метод Мы предлагаем LightVLA — простой, но эффективный разностиальный (differentiable) метод токен-преобразования (token pruning) для VLA-моделей. Основным идейным принципом LightVLA является адаптивное удаление ненужных токенов в процессе работы модели, чтобы сократить вычислительную нагрузку без потери точности. Реализация этого подхода основывается на динамическом определении важности токенов с помощью динамических запросов (queries) и применении Gumbel-softmax для различения токенов. Это позволяет модели самостоятельно "учиться" поддерживать только наиболее важные токены для того, чтобы выполнить задачу. Этот процесс не требует дополнительных параметров для обучения и может быть интегрирован с любыми современными инференсными фреймворками. ## Результаты Мы провели эксперименты на LIBERO бенчмарке, сравнив LightVLA с другими VLA-моделями и существующими методами токен-преобразования. Результаты показали, что LightVLA не только повышает успешность выполнения задач, но и значительно уменьшает объем вычислений (FLOPs) и задержки (latency). Точнее, LightVLA снижает FLOPs и latency на 59.1% и 38.2% соответственно, при этом повышая успешность выполнения задач на 2.9%. Эти результаты указывают на успешное достижение сбалансированного соотношения эффективности и точности в работе модели. Для дальнейшего исследования, мы также проанализировали особенности learnable query-based pruning метода LightVLA*, который также показал высокую эффективность. ## Значимость LightVLA открывает новые возможности для использования VLA-моделей в реальном времени, особенно на ресурс-ограниченных платформах. Он привносит значительные преимущества в области уменьшения требований к вычислениям и повышения эффективности при выполнении задач. Это может привести к расши