KeyWorld: Key Frame Reasoning Enables Effective and Efficient World Models

## Контекст Роботические world models являются перспективным подходом для прогнозирования будущих состояний окружающей среды. Однако два основных ограничения существуют в существующих системах: неэффективность процесса оптимизации и недостаточная физическая правдоподобность полученных траекторий. Эти проблемы возникают из-за распространенного подхода frame-to-frame generation, когда модель выполняет дорогостоящие вычисления над похожими кадрами, не учитывая их семантическую важность. Это приводит к значительным затратам ресурсов на ненужные вычисления. Другой важный аспект — недостаточная учет семантической значимости ключевых моментов между кадрами, что снижает качество генерируемых траекторий. Наша мотивация заключается в разработке эффективного и эффектного метода, который устраняет эти проблемы, сделав world models более пригодными для реальных приложений. ## Метод Мы предлагаем KeyWorld, рамочную модель для текстово-зависимых world models, которая сосредотачивает вычисления трансформеров на ключевых моментах роботической траектории. Основной идеей является уменьшение затрат с помощью идентификации ключевых моментов полосы посредством итеративного упрощения динамики робота. Мы используем DiT-модель (Diffusion Transformer), которая обучается для логического вывода и генерации этих ключевых моментов из текстовых заданий. Наконец, мы применяем легковесную нейронную сеть с восстановлением информации (inpainting) для эффективной реконструкции полного видео, включая все промежуточные кадры. Эта архитектура позволяет сохранить физическую правдоподобность и существенно ускорить расчеты, делая KeyWorld более эффективным в реальном времени. ## Результаты Мы проводили эксперименты на бенчмарке LIBERO, сравнивая KeyWorld с традиционным подходом frame-to-frame generation. Наши результаты показали, что KeyWorld увеличивает скорость вычислений примерно в 5.68 раз, сильно экономя ресурсы. Благодаря фокусировке на ключевых моментах, KeyWorld также показал значительное улучшение в физической правдоподобности генерируемых траекторий, особенно при решении сложных задач. Эти результаты подтверждают, что наш подход эффективно решает проблемы неэффективности и недостаточной правдоподобности в области world models. ## Значимость KeyWorld может применяться во многих областях, в частности в real-time robotic control, где необходима высокая скорость и точность расчетов. Он также может быть оптимизирован для других задач, требующих эффективного и правдоподобного прогнозирования траекторий. Наш подход не только ускоряет процесс, но и повышает качество прогнозов, что делает его привлекательным для применения в реальных си