New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR

## Контекст Ключевым вызовом в области звукового распознавания речи (ASR) является выравнивание акустических и лексических представлений для передачи знаний в предварительно обученных моделях. Эта проблема возникает из-за структуры и асимметрии отношений между акустическими и лексическими единицами. Например, несколько акустических фреймов могут соответствовать одному лексическому токену (многие-к-одному), тогда как определенные регионы акустических потоков могут соответствовать нескольким лексическим токенам (один-к-многим). Кроме того, акустический поток может включать нерелевантные фреймы, такие как шум или молчание, что приводит к условиям неравенства. Это вызывает сложности в создании точных и устойчивых моделей ASR. Наша мотивация заключается в развитии модели, которая эффективно справляется с этими проблемами, обеспечивая более точное выравнивание и улучшая передачу знаний в ASR. ## Метод Мы приняли новый подход, рассматривая выравнивание и соотнесение как задачу обнаружения, где целью является точно и полностью учесть лексические токены, при этом учитывая ненужные или шумные акустические фреймы. Для решения этой задачи мы предлагаем модель на основе неоднородного транспортного портфеля (unbalanced optimal transport). Эта модель способна гибко учитывать расхождения в распределениях между акустическими и лексическими моделями, обеспечивая способность к частичному и прозрачному соотнесению. Мы вводим метод, гарантирующий, что каждый лексический токен будет привязан к акустическому сигналу, при этом позволяя программным, предсказуемым сопоставлениям. Эта модель позволяет контролировать уровень соответствия и, таким образом, улучшать производительность ASR. ## Результаты Мы проводили эксперименты с CTC-базированной ASR-системой, использующей предварительно обученную модель языковой модели для передачи знаний. Мы использовали различные данные для тестирования, включая синтетические и реальные акустические потоки. Результаты показали, что наш подход эффективно обрабатывает расхождения в распределениях и повышает точность распознавания речи. Мы также проверили полноту и точность соотнесения, показав, что наша модель обеспечивает лучшую гибкость в учете ненужных акустических фреймов и улучшает стабильность ASR в условиях различных уровней шума. ## Значимость Предложенная модель имеет широкие возможности применения в области ASR и других задачах, требующих выравнивания различных моделей. Она предоставляет более точное и устойчивое выравнивание, что повышает качество распознавания речи. Это может привести к лучшей универсаль