Behind the Scenes: Mechanistic Interpretability of LoRA-adapted Whisper for Speech Emotion Recognition

## Контекст В статье рассматривается проблема эффективного адаптирования больших предобученных спич-моделей, таких как Whisper, к задачам распознавания эмоций в речи (Speech Emotion Recognition, SER). Эти модели хорошо справляются с задачами общего распознавания речи, но их применение к специфическим задачам, таким как распознавание эмоций, требует значительных ресурсов. Одним из популярных подходов является Low-Rank Adaptation (LoRA), который позволяет эффективно адаптировать модели к конкретным задачам с минимальным увеличением числа параметров. Несмотря на эффективность LoRA, его механизм работы в контексте спич-моделей, особенно при распознавании эмоций, до сих пор остается малоизученным. Целью данной работы является осуществление первого систематического исследования механизмов работы LoRA в контексте Whisper для задачи SER. ## Метод В ходе исследования применяются следующие методики: 1. **Layer Contribution Probing**: Определяется вклад каждого слоя енкодера Whisper в задачу распознавания эмоций в речи. 2. **Logit-Lens Inspection**: Анализируется динамика представлений на выходе слоев модели, чтобы понять, как LoRA влияет на классификацию эмоций. 3. **Representational Similarity Analysis**: Вычисляются меры схожести представлений (singular value decomposition, SVD, и centered kernel alignment, CKA) для определения изменений в представлениях речи в разных слоях. 4. **Analytical Tools**: Для объяснения механизмов работы LoRA используются эти методы для проведения систематического анализа. Эти методы позволяют получить подробный обзор того, как LoRA влияет на работу модели Whisper в задаче распознавания эмоций в речи. ## Результаты В ходе экспериментов были выявлены два ключевых механизма работы LoRA в контексте Whisper для задачи SER: 1. **Delayed Specialization**: В early layers енкодера сохраняются общие фичи речи, тогда как в поздних слоях происходит специализация на конкретную задачу распознавания эмоций. 2. **Forward Alignment, Backward Differentiation**: Динамика между матрицами LoRA, где forward alignment обеспечивает выравнивание представлений, а backward differentiation позволяет избавиться от ненужных фичей. Эти находки демонстрируют, как LoRA меняет иерархию енкодера, улучшая его эффективность в задаче SER. На основе этих результатов были получены новые подходы к параметрно-эффективной адаптации моделей. ## Значимость Результаты имеют значительное значение для следующих областей: 1. **Применение в распознавании эмоций в речи**: Объясняются механизмы, позволяющие LoRA эффективно адаптировать модели к этой задаче, что может улучшить понимание интеллектуальных систем, работающих с естественным языком. 2. **Efficiency in Adaptation**: Демонстрируется, как LoRA может эффективно использоваться для параметрно-эффективной адаптации больших моделей к конкретным