## Контекст В последние годы наблюдается устойчивое развитие моделей глубокого обучения, обладающих многомодальностью. Эти модели способны обрабатывать и взаимодействовать с различными типами данных, такими как текст, изображения, звук и видео. Однако существуют значительные проблемы в области моделей многомодальности, включая ухудшение качества решения задач при увеличении количества модалей, неэффективность архитектур и недостаточное доступность научной информации. Эти факторы способствуют сложностям в реализации многомодальных решений, что приводит к необходимости в разработке более мощных и эффективных моделей. ## Метод Qwen3-Omni представляет собой модель многомодальности с одним контекстом, которая обеспечивает согласованное выполнение задач над различными типами данных. Метод основывается на архитектуре Thinker-Talker Model of Experts (MoE), которая объединяет функции представления и генерации для разных модалей. Модель имеет 30 миллиардов параметров и поддерживает текстовую работу на 119 языках, распознавание речи на 19 языках и генерацию речи на 10 языках. Для улучшения производительности в стриминговой синтезе речи Talker-авторегрессионно предсказывает дискретные кодеки с помощью многокодекового подхода. Эта модель также включает в себя новую модель Thinking, которая активно рассматривает входные данные из любой модалии, что позволяет улучшить многомодальное разумение. ## Результаты Исследования были проведены на 36 аудио- и аудио-видеонаборах, где Qwen3-Omni достигла лучших результатов среди открытых моделей и установила собственные рекорды. Она превзошла модели как открытых, так и закрытых, включая Gemini-2.5-Pro, Seed-ASR и GPT-4o-Transcribe. Модель также показала более высокие результаты в обработке звука и видео, в том числе в задачах аудио-капшнинга, где Qwen3-Omni-30B-A3B-Captioner обеспечивает масштабируемые и точные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные подробные