Streamlining Admission with LOR Insights: AI-Based Leadership Assessment in Online Master's Program

## КОНТЕКСТ И ПРОБЛЕМАТИКА В современной системе высшего образования процесс отбора кандидатов в магистерские программы все еще опирается на традиционные методы оценки, включая стандартизированные тесты и письма рекомендации (Letters of Recommendation - LOR). Несмотря на то, что LORы содержат богатую информацию о личностных качествах, профессиональных навыках и потенциале кандидатов, их анализ остается крайне трудоемким процессом. Приемные комиссии ежегодно сталкиваются с необходимостью обработки сотен и тысяч многостраничных текстовых документов, каждый из которых требует глубокого анализа и интерпретации. Особенно острой эта проблема становится в контексте онлайн-магистерских программ, где географическая удаленность кандидатов усиливает значение объективной оценки их soft skills, в первую очередь лидерских качеств. Исследования показывают, что лидерские навыки играют критически важную роль в успешности выпускников STEM-направлений, однако традиционные методы оценки через LOR зачастую не обеспечивают систематического и объективного анализа этих атрибутов. Существующая практика ручного просмотра рекомендательных писем подвержена человеческому фактору: усталости экспертов, субъективным предпочтениям и временным ограничениям. Это приводит к несогласованности в оценках и потенциальной утрате перспективных кандидатов. Более того, текущие системы не предоставляют структурированной обратной связи кандидатам по конкретным лидерским характеристикам, ограничивая их возможности для профессионального роста. Необходимость в автоматизированном, объективном и масштабируемом решении для анализа LOR стала критически важной для современных образовательных учреждений. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения выявленных проблем авторы разработали инновационный инструмент LORI (LOR Insights) - систему искусственного интеллекта для автоматизированной оценки лидерских навыков кандидатов на основе анализа их рекомендательных писем. Система использует передовые методы обработки естественного языка и большие языковые модели, включая RoBERTa и LLaMA, для выявления ключевых лидерских атрибутов. Архитектура LORI основана на многоуровневом подходе к анализу текста. На первом этапе система выполняет предобработку текста, включая токенизацию, лемматизацию и удаление шумовых данных. Затем применяется RoBERTa-модель, обученная на специально подготовленном корпусе рекомендательных писем, для извлечения контекстуальных особенностей текста. Модель использует механизм внимания для идентификации ключевых фраз и концептов, связанных с лидерством. Система специально настроена на выявление трех основных категорий лидерских навыков: командная работа (teamwork), коммуникационные навыки (communication) и инновационность (innovation). Для каждой категории разработаны специфические метки и паттерны распознавания. Процесс обучения модели включал использование техники transfer learning с последующей тонкой настройкой на доменные данные. Для повышения точности классификации применялись методы ансамблирования и кросс-валидации. Особое внимание было уделено проблеме дисбаланса классов в обучающих данных. Авторы использовали стратегию weighted loss function для обеспечения равномерного представления всех категорий лидерских навыков. Кроме того, система включает модуль объяснимости, который генерирует человекочитаемые объяснения для каждого выявленного навыка, что критически важно для обратной связи кандидатам. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Комплексное экспериментальное исследование проводилось на основе реальных данных, полученных от заявителей онлайн-магистерских программ в крупном исследовательском университете. Обучающая выборка включала 2450 рекомендательных писем, каждое из которых было аннотировано экспертами приемной комиссии по трем категориям лидерских навыков. Данные были разделены в соотношении 70/15/15 для обучения, валидации и тестирования соответственно. Для оценки эффективности системы использовались стандартные метрики классификации: точность (precision), полнота (recall) и F1-мера. Ключевые результаты показали исключительную производительность модели: RoBERTa достигла взвешенной F1-оценки 91.6%, при этом точность состав