MeshCoder: LLM-Powered Structured Mesh Code Generation from Point Clouds

## Контекст Реконструкция 3D-объектов в программный код является ключевым заданием для приложений, таких как обратный инженеринг и редактирование форм. Однако существующие методы часто ограничены доменом специфических языков (DSL) и небольшими масштабными данными, что ограничивает их возможность моделировать сложные геометрические структуры и структуры. Для решения этих проблем, мы предлагаем MeshCoder — новую систему, которая преобразует сложные 3D-объекты из точечных облаков в редактируемый Python-код Blender. Мы разработали расширенный набор экспрессивных Blender-API, который может синтезировать сложные геометрические структуры. Используя эти API, мы создали большую парную коллекцию данных объектов и кода, где каждый объект соответствует специально разбитому на части коду. Мы обучили многомодальный модель глубокого обучения (LLM), которая преобразует точечные облака в выполняемый код Blender. Наш подход не только показал высокую точность в задачах преобразования геометрии в код, но также обеспечил интуитивное редактирование геометрии и топологии через простые изменения кода. Кроме того, наш представительный код повышает мощность LLMs в задачах понимания 3D-форм. Эти достижения делают MeshCoder мощным и гибким инструментом для программной реконструкции и понимания 3D-форм. Домашняя страница проекта доступна по этой ссылке. ## Метод MeshCoder использует многомодальную модель глубокого обучения (LLM) для преобразования точечных облаков в код Blender Python. Мы разработали собственный набор Blender-API, который может синтезировать сложные геометрические структуры. Эти API используются для построения парной коллекции данных, где каждый объект разбит на части кода с определенным семантическим назначением. Мы обучаем LLM на этой коллекции, чтобы он мог преобразовывать точечные облака в код, выполняемый в Blender. Эта модель использует третьи сторонние библиотеки для обработки точечных облаков и кода, чтобы обеспечить преобразование. Это позволяет нашей модели извлекать информацию о геометрии и выражать ее в виде редактируемого Python-кода Blender. ## Результаты Мы проводили эксперименты, чтобы оценить точность и эффективность MeshCoder. Мы использовали большую парную коллекцию данных, состоящую из точечных облаков и соответствующего им кода. Мы сравнили результаты нашего подхода с другими методами, показав, что MeshCoder показывает высокую точность в преобразовании точечных облаков в код. Мы также проверяли возможности редактирования геометрии и топологии, проверяя, насколько просто можно внести изменения в код, чтобы изменить геометрию. Мы показали, что наш подход не только эффе