SeamCrafte: Enhancing Mesh Seam Generation for Artist UV Unwrapping via Reinforcement Learning

## Контекст Меш-сеты (mesh) широко используются в трехмерной графике, виртуальной реальности, играх и других приложениях, где требуется работа с трехмерными моделями. Одной из ключевых задач при работе с этими моделями является UV-разделение (UV-unwrapping), которое заключается в разбиении трехмерной поверхности на плоские участки (плоскости) для дальнейшего текстурирования. Центральной проблемой в этой области является поиск достаточно качественной сетки стыков (seams), которая минимизирует растяжение текстуры (distortion) и уменьшает количество фрагментов (fragmentation). Несоответствующие стыковые линии могут привести к неестественной повторяемости текстуры или к тому, что текстура будет неправильно растянута на модели. Несмотря на то, что существуют методы автоматического разделения сетки, они часто приводят к тому, что либо растяжение текстур сильно завышается, либо количество фрагментов становится слишком большим. Это приводит к необходимости в ручном вмешательстве или дополнительной повторной работе. Было предложено новый подход, SeamCrafter, который призван улучшить этот процесс, используя стиль GPT и технологии reinforcement learning. ## Метод SeamCrafter представляет собой авторегрессивную модель GPT, которая генерирует стыковые линии для трехмерных моделей. Основным инновационным аспектом является то, что модель обучается не только с целью минимизации растяжения и фрагментации, но также с учетом точечных облаков (point clouds), которые представляют трехмерную модель. Модель имеет двух branch-энкодер (двух различных кодировщиков), что позволяет ей различать и понять как топологические, так и геометрические аспекты модели. Затем, в процессе оптимизации, используется метод Direct Preference Optimization (DPO). Этот метод позволяет учитывать предпочтения художников и графических специалистов, генерируя стыковые линии, которые оптимальны по мнению экспертов. Таким образом, модель SeamCrafter обучается на заранее подготовленных данных, считая приоритеты как распределение размеров участков, так и геометрические особенности. ## Результаты В ходе экспериментов был проведен сравнительный анализ SeamCrafter с другими методами разделения меш-сетей. Для этого был проведен бенчмарк с различными типами моделей, включая те, которые имели высокий уровень растяжения, и те, что имели много фрагментов. На основе этого были измерены распределения размеров фрагментов, их растяжение и геометрические особенности. Результаты показали, что SeamCrafter значительно улучшает качество стыков по сравнению с другими методами. Оно показало существенно меньшее растяжение и меньшую фрагментацию. Были также проведены визуальные эксперимен