Hardness-Aware Dynamic Curriculum Learning for Robust Multimodal Emotion Recognition with Missing Modalities

## Контекст Многомодальная распознавание эмоций (MER) является важной задачей в области обработки естественного языка, которая стремится понять человеческие эмоции, используя различные модальности, такие как текст, звук и изображения. Однако, несмотря на прогрессы в этой области, проблемы, связанные с отсутствием модальностей (missing modalities), остаются неразрешенными. Отсутствие модальностей может возникнуть из-за сбоев сенсоров, повреждений данных или просто отсутствия некоторых модальностей во время обучения или тестирования. Традиционные подходы к решению этой проблемы, такие как реконструкция отсутствующих модальностей, часто ограничиваются эффективностью, так как они не учитывают различия в сложности реконструкции между разными примерами. Это, в свою очередь, приводит к снижению производительности моделей, особенно при работе с трудными примерами. Для решения этой проблемы мы предлагаем новый подход, который адаптивно учитывает сложность реконструкции для каждого примера и стратегически фокусируется на их обучении. ## Метод Наше решение, Hardness-Aware Dynamic Curriculum Learning (HARDY-MER), оперирует в двух основных этапах. В первом этапе мы используем механизм Multi-view Hardness Evaluation, который оценивает сложность реконструкции для каждого примера. Это основывается на двух компонентах: Direct Hardness (ошибки реконструкции модальностей) и Indirect Hardness (кросс-модальные меры информации). Во втором этапе мы применяем Retrieval-based Dynamic Curriculum Learning, который адаптивно изменяет порядок обучения. Мы выбираем примеры с похожим семантическим содержанием и равномерно распределяем фокус обучения между легкими и трудными примерами. Этот подход развивается в целях улучшения модели на трудных случаях, снижая ее чувствительность к неоднородности данных. ## Результаты Мы проводили эксперименты на нескольких бенчмарк-датасетах, сравнивая HARDY-MER с тремя состоящими методами. Наши результаты показали, что HARDY-MER значительно превосходит существующие подходы в сценариях отсутствия модальностей. В частности, он демонстрирует лучшую точность распознавания эмоций, снижает ошибки реконструкции и улучшает общую стабильность модели в сложных условиях. Эти результаты подтверждают эффективность нашего подхода в обработке отсутствующих модальностей и улучшении общей производительности MER-систем. ## Значимость Предлагаемый подход представляет собой значительный вклад в область MER, в частности, в адаптивное обучение при отсутствии модальностей. Он может быть применен не только в MER, но и в других задачах, где отсутствуют некоторые данные (например, в задачах классификации изображений с отсутствующими признаками). Одним из преим