#### Контекст Автоматическое распознавание речи (ASR) является важной областью исследований в сфере искусственного интеллекта, которая позволяет людям взаимодействовать с технологиями с помощью речи. Однако существуют значительные проблемы при распознавании речи, произносимой людьми с необычным речью, такими как дисартрия. Несмотря на высокую точность современных ASR-систем для типичной речи, они часто проваливаются при работе с необычной речи. Данная статья основывается на мотивации повысить точность распознавания речи для таких подпространств. Для этого необходимо разработать модели, которые могут объединить общие модели (нормативные) и более частные модели, учитывающие индивидуальности речи. #### Метод Мы использовали четыре стратегии моделирования для распознавания необычной речи: (a) **нормативные модели**, обученные на типичной речи без любого личного адаптирования, (b) **идиосинкретные модели**, полностью персонализированные для каждого человека, (c) **дизартрические нормативные модели**, обученные на речи других дисартрических говорящих, и (d) **дизартрические идиосинкретные модели**, которые объединяют подходы, начиная с общей модели речи, а затем адаптируясь к индивидуальному речевому паттерну данного говорящего. Мы провели эксперименты на данных, содержащих речи с дисартрией, использовали метрики ошибок слов (WER) для оценки точности распознавания. #### Результаты Модель **дизартрического идиосинкретного** подхода показала лучший результат, предоставив значительно более низкую ошибку слов (WER) по сравнению с идиосинкретным подходом. Она работала с меньшим количеством личных данных (128 обучающих примеров), сравнительно с более широким набором данных (256 примеров), но по-прежнему показала лучший результат (36.43 WER на 128 примеров против 36.99 WER на 256 примеров). Было также выяснено, что адаптация только спектральной части речи (метод спектрального тюнинга) приводит к самым значительным повышениям качества в распознавании речи. #### Значимость Результаты показали, что комбинирование общих моделей речи (нормативных) и моделей, адаптированных к индивидуальности речи, может значительно повысить точность распознавания речи для подпространств, таких как дисартрия. Этот подход может быть применен для распознавания речи в других специфических группах, где естественная речь отличается от нормативных моделей. Данные же результаты могут быть использованы для снижения частоты ошибок в распознавании речи и для повышения того, насколько естественным будет взаимодействие между людьми и системами ASR. #### Выводы Наша исследователь

## Контекст Simultaneous speech-to-text translation (Simul-S2TT) — это задача перевода речи в текст в реальном времени. Она предполагает вывод перевода по мере поступления исходного звукового сигнала, а не ожидание завершения речи. Однако существующие подходы часто требуют изменения архитектуры моделей для реализации этой функциональности. Эта ситуация становится более сложной с появлением больших звуково-языковых моделей (LALMs), которые требуют эффективного использования уже существующих моделей без значительных модификаций. Целью настоящей работы является рассмотрение возможности активации Simul-S2TT в LALMs за счет модификации выборки данных и оптимизации процесса обучения, а не изменения модели. ## Метод Мы предлагаем **SimulSA** (Simultaneous Self-Augmentation) — метод, основанный на рандомизации процесса обучения и создании частично-согласованных пар текста и звука. Модель получает репрезентацию речи, а затем сгенерированный текст, но с небольшим сдвигом во времени. Это позволяет модели обучаться на потоковых данных без изменения архитектуры. Мы используем часть обучающих данных для Simul-S2TT и добавляем их в общую выборку для обучения модели. Это позволяет модели активировать Simul-S2TT-сигналы, не требуя дополнительных изменений в архитектуре или стратегии декодирования. ## Результаты Мы провели эксперименты на больших звуково-языковых моделях, используя многоязычные данные для Simul-S2TT. Использование SimulSA позволило увеличить производительность на **10%** в метриках BLEU, хотя добавлено всего **1%** данных Simul-S2TT к обучающей выборке. Эффективность этого подхода продемонстрирована на тестах с реальным временем для славянских и южноазиатских языков. Мы также проанализировали качество перевода в зависимости от размера выборки Simul-S2TT в обучающих данных, установив значительный показатель повышения качества, даже при незначительном добавлении новых данных. ## Значимость Результаты показывают, что SimulSA может быть применено для активации Simul-S2TT в уже обученных моделях без изменений модели или стратегии декодирования. Это открывает широкие возможности для области перевода речи на языки с разными структурами. Метод также показывает потенциал для экономии ресурсов в обучении моделей Simul-S2TT, так как не требует обучения с большим количеством данных. Мы видим перспективы SimulSA в области мультимодального перевода, включая перевод видео и текста. ## Выводы Мы представили SimulSA, метод, который активирует Simul-S2TT-сигналы в больших звуково-языковых моделях без изменений в архитектуре. Мы продемонстрировали, что даже незначительное добавление Simul-S2TT-данных в обучающую выбор

## Контекст На протяжении многих лет, искусственный интеллект (ИИ) продолжает демонстрировать удивительные достижения в области зрительно-языковых задач. Однако, несмотря на эти успехи, применение ИИ в рамках мультимодальных символьных музыкальных задач остается недостаточно изученным. Музыка, как мультимодальная сфера, требует не только визуального распознавания, но и глубокого понимания музыкальных структур, темпа, гаммы и многих других аспектов. Значительные усилия были направлены на развитие мультимодальных бо LARGE LANGUAGE MODELS (MLLMs), которые способны обрабатывать и анализировать текст, изображения и даже аудио. Однако, тестирование этих моделей на реальных музыкальных ситуациях и музыкальных символах остается практически неразвитым. Авторы статьи предлагают WildScore, первый бенчмарк, ориентированный на оценку моделей MLLMs в рамках реальных символьных музыкальных задач. Он представляет собой коллекцию реальных музыкальных символов, сопровождаемых вопросами и обсуждениями пользователей, что дает широкий погружающийся характер задач музыкального анализа. ## Метод WildScore является первым бенчмарком, созданным для оценки моделей MLLMs в реальных условиях музыкального анализа. Он состоит из реальных музыкальных символов, собранных из широкого спектра музыкальных произведений. Каждый экземпляр в бенчмарке сопровождается пользовательскими вопросами и обсуждениями, что дает шанс для тестирования не только визуальной способности модели, но и ее понимания структур музыки. Для того, чтобы систематизировать оценку, авторы предлагают также специальную тематическую категорию, которая включает как общие, так и детальные музыкальные темы. Это позволяет делать запросы не только на визуальном уровне, но и на семантическом. Формат оценки представляет собой несколько выборок вопросов, что дает возможность сравнивать модели по количеству достижений и потенциальной сложности задач, которые они могут решать. ## Результаты В ходе экспериментов, проведенных на WildScore, авторы сравнили результаты нескольких существующих MLLMs. Эксперименты проводились с использованием различных музыкальных символов и вопросов, сгенерированных пользователями. Результаты показали, что хотя некоторые модели показали высокие результаты в базовых задачах, они всё же сталкивались с трудностями при работе с более сложными задачами, особенно теми, которые включают не только визуальное понимание, но и глубокое музыкальное анализирование. Эти результаты указывают на продолжающуюся необходимость в развитии моделей, которые могут более точно интерпретировать музыкальные с

#### Контекст Говорящее чувство — важное аспект улучшения интерактивности между человеком и компьютером, особенно для низкоресурсных языков, таких как арабский. Однако работа по этой теме сталкивается с проблемами, такими как нехватка данных и ограниченные исследования. Настоящая работа предлагает ArabEmoNet, модель, которая решает эти проблемы и показывает выдающиеся результаты. Отличается лишь тем, что в настоящем подходе используются Mel-спектрограммы с 2D-конволюциями, что позволяет сохранить ключевые эмоциональные признаки, которые могут быть потеряны в традиционных аппаратах. #### Метод ArabEmoNet является легковесной архитектурой, которая сочетает 2D-конволюционную сеть с BiLSTM и пристальным вниманием. Модель обрабатывает Mel-спектрограммы, что позволяет локализовать критические эмоциональные признаки. Модель имеет 1 миллион параметров, что делает ее применимой для ресурсами, ограниченных по доступу. Эта гибкость делает ее идеальной для реалий. #### Результаты Проведенные эксперименты показали, что ArabEmoNet показывает выдающиеся результаты в рамках задачи распознавания эмоций в речи на арабском языке. Модель обладает тем, что выдает лучший результат с меньшим числом параметров. Это делает ее эффективной и масштабируемой для применения в реальных условиях. #### Значимость ArabEmoNet может применяться в различных сферах, таких как социальные сети, компьютерные игры, искусственный интеллект, и т. д. Модель обладает высокой точностью и низким потреблением ресурсов, что делает ее привлекательной для реальных приложений. #### Выводы Результаты показывают, что ArabEmoNet является эффективным решением для распознавания эмоций на арабском языке. Она открывает пути для будущих исследований в области распознавания эмоций в речи, особенно для низкоресурсных языков.