MaskVCT: Masked Voice Codec Transformer for Zero-Shot Voice Conversion With Increased Controllability via Multiple Guidances

В статье предлагается MaskVCT — новая модель zero-shot voice conversion (VC), которая обеспечивает значительный улучшенный контроль в факторах голосовой конвертации. Модель использует классификатор-бесплатные guidances (CFGs) для управления различными аспектами голоса, включая идентичность речи, языковые содержимое и просодические свойства. Это позволяет MaskVCT не только достичь высокой точности в целевой идентичности и акценте, но и улучшить интеллектуальность и соблюдение просодических факторов. Благодаря интеграции нескольких условий в одной модели, MaskVCT предлагает более гибкую модель управления, чем предыдущие решения. Эксперименты показали, что модель MaskVCT достигает наилучших результатов в идентичности речи и акцента, а также соперничает с существующими моделями по критериям ошибок слов и символов. Это демонстрирует ее эффективность в решении проблем голосового преобразования.