CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis With Structured Melody Control and Guidance

## Контекст Синтез голоса для пения (Singing Voice Synthesis, SVS) является важной задачей в области звуковой инженерии и искусственного интеллекта. Она состоит в том, чтобы создавать экспрессивные вокальные выступления на основе структурированных музыкальных входов, таких как текст и последовательности нот. Несмотря на недавние успехи в области кодирования дискретных звуков для речи, расширение этих технологий для SVS остается задачей, требующей дополнительных исследований. Одна из основных проблем заключается в том, что методы промистого синтеза часто приводят к проблеме "промокания" простора, когда информация о ритме без контроля проникает в синтезированный звук, что нарушает его контролируемость. Для решения этой проблемы, авторы предлагают CoMelSinger — новую модель, ориентированную на точное управление мелодией в синтезированном вокале. ## Метод CoMelSinger основывается на несвязанной модели MaskGCT, которая используется для нейросетевого моделирования звука. В отличие от стандартных текстовых входов, в модель вводятся новые токены, кодирующие слова и тональность пение. Это позволяет сохранить возможность общей обработки в контексте (in-context learning), при этом улучшая контроль над мелодией. Кроме того, авторы предлагают стратегию контрастного обучения, которая помогает избежать проблемы "промокания" простора, регулируя пересечение информации о тонах между акустическим сигналом и звуковыми токенами. Также включена легковесная модель транскрибирования голоса для пения, которая обеспечивает точное управление кадровыми значениями ритма и длительности звука. ## Результаты На тестах сравнения CoMelSinger показала выдающиеся результаты по сравнению с другими моделями. Она демонстрирует более высокую точность по ритму, улучшенную последовательность тонов и более высокую гибкость в нулевых-выстрелах (zero-shot generation). Эксперименты показали, что модель сохраняет высокую точность в синтезированном звуке, даже при переносе на новые данные и варианты задач. Это доказывает силу методов, использованных в CoMelSinger, в обеспечении контролируемого синтеза вокала. ## Значимость Модель CoMelSinger имеет большое потенциальное применение в сферах, требующих высококачественного синтеза голоса для пения, таких как творческое производство музыки, анимация звуков или живые выступления. Важное преимущество лежит в ее возможности создавать звук с точным контролем мелодии, что открывает новые возможности для творческих работ. Будущие исследования могут направляться на улучшение точности генерации и расширение возможностей гибкого управления звуком. ## Выводы CoMelSinger я