Face-voice Association in Multilingual Environments (FAME) 2026 Challenge Evaluation Plan
2508.04592v1
cs.CV
2025-08-09
Авторы:
Marta Moscati, Ahmed Abdullah, Muhammad Saad Saeed, Shah Nawaz, Rohan Kumar Das, Muhammad Zaigham Zaheer, Junaid Mir, Muhammad Haroon Yousaf, Khalid Malik, Markus Schedl
Резюме на русском
**Резюме**
В современных мультимодальных системах, таких как распознавание лиц и голоса, возникает необходимость коррелирующей работы с лицом и голосом. Особенно актуальной становится эта задача в многолокальных средах, где пользователи часто обмениваются между собой на разных языках. Для адресации этой проблемы был организован FAME 2026 Challenge, который сосредотачивается на рассмотрении проблемы ассоциации лица и голоса в многоязычных условиях.
Проблема решается с помощью датасета MAV-Celeb, содержащего мультиязычные аудио-визуальные данные. Формируется базовая модель, основывающаяся на машинном обучении, для моделирования ассоциации лица и голоса в многоязычных условиях. Основные выводы: данная задача является важной для улучшения мультимодальных систем в реальном мире, а предложенные модели демонстрируют высокую точность и эффективность в условиях многоязычности.
Abstract
The advancements of technology have led to the use of multimodal systems in
various real-world applications. Among them, audio-visual systems are among the
most widely used multimodal systems. In the recent years, associating face and
voice of a person has gained attention due to the presence of unique
correlation between them. The Face-voice Association in Multilingual
Environments (FAME) 2026 Challenge focuses on exploring face-voice association
under the unique condition of a multilingual scenario. This condition is
inspired from the fact that half of the world's population is bilingual and
most often people communicate under multilingual scenarios. The challenge uses
a dataset named Multilingual Audio-Visual (MAV-Celeb) for exploring face-voice
association in multilingual environments. This report provides the details of
the challenge, dataset, baseline models, and task details for the FAME
Challenge.
Ссылки и действия
Дополнительные ресурсы: