SpeakerLM: End-to-End Versatile Speaker Diarization and Recognition with Multimodal Large Language Models

## Контекст Вопрос определения "кто говорил, когда и что" (Speaker Diarization and Recognition, SDR) является ключевым заданием в решении задач обработки речи в реальных мультиспикерских сценариях, таких как транскрипция митингов и системы диалогов. Традиционные модели SDR часто используют каскадный подход, объединяя модули диагностики речи (SD) и автоматической распознавательной речи (ASR). Однако этот подход страдает от проблемы пропускания ошибок, сложности обработки перекрывающейся речи и отсутствия совместной оптимизации для извлечения синергии между SD и ASR. Целью данной работы является разработка продвинутой модели, которая могла бы объединить эти задачи в единую модель и сделать ее более универсальной и эффективной в многоголосых ситуациях. ## Метод Мы предлагаем SpeakerLM, универсальную модель на основе больших языковых моделей, которая выполняет диагностику речи и распознавание речи в рамках единого процесса. Модель обучается в составе многоэтапного процесса на основе больших наборов реальных данных. Чтобы улучшить ее универсальность, в модель внедрен механизм регистрации речи в режиме реального времени, который позволяет ей работать в различных условиях регистрации голосов. Эта модель является новаторским подходом к решению SDR, где оба процесса (диагностика речи и распознавание речи) объединены в единую модель и могут работать в реальном времени. ## Результаты Мы проводили тестирование модели SpeakerLM на нескольких важных бенчмарк-наборах данных SDR, включая в домене и за его пределами. У нас были проведены эксперименты с разными условиями регистрации речи, включая ситуации с значительным количеством регистрируемых речи и меньшим. Результаты показывают, что SpeakerLM превосходит современные каскадные модели SDR в области как внутридоменных, так и внедоменных задач. Было установлено, что модель обладает высокой сходимостью и обрабатывает перекрывающуюся речь эффективно. Также, механизм регистрации голосов продемонстрировал свою эффективность в обеспечении устойчивости модели в разных условиях регистрации. ## Значимость Результаты SpeakerLM могут быть применены в различных реальных сценариях, таких как транскрипция митингов, системы диалогов и устройства для управления голосом. Возможность объединять диагностику речи и распознавание речи в единую модель увеличивает эффективность и уменьшает возможность ошибок в различных задачах. Механизм регистрации речи делает модель более универсальной и пригодной для применения в разных реальных ситуациях. Этот подход может эффективно улучшить качество работы систем диалогов, автоматических транскрибировщиков и других систем, которым требуется рабо