LatticeWorld: A Multimodal Large Language Model-Empowered Framework for Interactive Complex World Generation

## Контекст Развитие 3D-моделей, имитирующих реальные ситуации, стало вызовом для современных исследований. Эти модели применяются в областях, таких как обеспечение искусственного интеллекта, самостоятельное вождение автомобилей, развлекательные продукты и другие. Более реалистичная симуляция, основанная на точной физике, может существенно снизить проблему разницы между симуляцией и реальностью, а также облегчить сбор информации о реальном мире. Традиционные ручные методы моделирования позволили создавать виртуальные 3D-сцены, однако современные подходы основываются на машинном обучении, которое способно генерировать 3D-миры на основе пользовательских инструкций. Целью данного исследования является описание LatticeWorld, инновационного фреймворка для создания динамичных 3D-миров, который объединяет легкие легковесные легковесные легковесные лэнгвидж модели (LLaMA-2-7B) и промышленно-классные рендеринговые системы (например, Unreal Engine 5). Он принимает текстовые описания и визуальные инструкции в качестве мультимодальных входных данных и генерирует большие, сложные миры с динамическими агентами, в том числе с высоким качеством визуализации и физических симуляций. ## Метод LatticeWorld предлагает интеграцию легковесных легковесных легковесных моделей с высококачественными рендеринговыми технологиями. Основная архитетктура фреймворка основывается на трех основных компонентах: (1) легковесная модель языка (LLaMA-2-7B) для обработки текстовых и визуальных входных данных, (2) промышленного рендеринга Unreal Engine 5 для динамического симулирования физики и (3) сложной архитектуры обработки мультимодальных данных, что позволяет генерировать подробные 3D-сцены. Метод предполагает начальную инициализацию сцены на основе текстовых инструкций, затем последовательное уточнение модели с использованием визуальных данных. Это позволяет создавать динамические интерактивные миры с высокой точностью визуализации и непосредственным взаимодействием с агентами. ## Результаты Используя этот подход, LatticeWorld был протестирован на широком спектре задач, включая генерацию сцен с высоким разрешением, мультиагентных интеракций и реалистичных физических симуляций. Конкретные эксперименты показали, что LatticeWorld достигает существенно более высокого уровня точности в сценах с разрешением $90\times$, сравнив с традиционными методами генерирования 3D-сцен. Эксперименты также показали намного вышу качество визуализации и возможность сжатых субъективных инструкций. Эти результаты подтверждают возможно