From Black Box to Transparency: Enhancing Automated Interpreting Assessment with Explainable AI in College Classrooms

## Контекст Изучение языкового ремесла, в том числе интерпретации, является ключевым вопросом в области образования и специализированных коммуникаций. Однако успехи в автоматизированной оценке интерпретации часто ограничены проблемами, такими как неэффективное моделирование, безразмерные данные и необъяснимость результатов. Эти проблемы способствуют существующим "черным ящикам", которые не могут дать понятных рекомендаций для улучшения. Наша мотивация заключается в устранении этих недостатков, создав модель, которая обеспечивает понятные, легко интерпретируемые результаты и поддерживает саморегулируемые учебные процессы у студентов. ## Метод Мы предлагаем многомерный подход, объединяющий функциональное генерирование признаков, техники увеличения данных и исследования используемых машинных алгоритмов. Модель основывается на явной аналитической разработке признаков и интеграции глубоких сетей с техническими методами, такими как Shapley Value (SHAP). Это позволяет создавать понятные модели, которые могут объяснить свои решения. Мы применяем этот подход к англо-китайской последовательной интерпретации, используя большой датасет, чтобы проверить эффективность. ## Результаты Проведенные эксперименты показали, что наш подход выдает высокую точность в предсказании метрик качества интерпретации. Были выявлены сильные предикторы для каждого аспекта: BLEURT и COMETKiwi для фидлити, функции пауз для флюентности и метрики языкового разнообразия для языкового использования. Эти результаты подтверждают, что метод не только эффективен, но и обеспечивает прозрачность и понимание результатов. ## Значимость Наш подход может быть применен в обучении интерпретаторов, в том числе в саморегулируемых учебных процессах. Он предоставляет детальный диагностический отзыв, помогая ученикам понимать ошибки и улучшать свои навыки. Эта технология может быть использована в различных образовательных и профессиональных сферах, где языковая компетентность критически важна. ## Выводы Мы представили многомерную модель, которая преобразует "черную ящик" в прозрачность, обеспечивая уникальные выгоды в области обучения интерпретаторов. Наша работа открывает новые возможности для дальнейших исследований в области автоматизированной оценки языковых навыков и саморегулируемого обучения. Мы будем работать над улучшением этой модели, включая расширение датасетов и исследование других задач.