TransGAT: Transformer-Based Graph Neural Networks for Multi-Dimensional Automated Essay Scoring

willingness to help others. ### Контекст Референсный текст: Аннотация: Essay writing is a critical component of student assessment, yet manual scoring is labor-intensive and inconsistent. Automated Essay Scoring (AES) offers a promising alternative, but current approaches face limitations. Recent studies have incorporated Graph Neural Networks (GNNs) into AES using static word embeddings that fail to capture contextual meaning, especially for polysemous words. Additionally, many methods rely on holistic scoring, overlooking specific writing aspects such as grammar, vocabulary, and cohesion. Мотивация: Авторы ставят целью решения проблемы недостаточной точности и объективности в AES. Ограничения стандартных методов — это использование static word embeddings, которые не учитывают контекстную семантику, а также анализ только целостности текста, без внимания к компонентам, таким как грамматика, словообразование и текстовая координация. Исследование раскрывает потенциал новых технологий GNNs и Transformer-based моделей для более детального и точного анализа аспектов текста. ### Метод Аннотация: To address these challenges, this study proposes TransGAT, a novel approach that integrates fine-tuned Transformer models with GNNs for analytic scoring. TransGAT combines the contextual understanding of Transformers with the relational modeling strength of Graph Attention Networks (GAT). It performs two-stream predictions by pairing each fine-tuned Transformer (BERT, RoBERTa, and DeBERTaV3) with a separate GAT. In each pair, the first stream generates essay-level predictions, while the second applies GAT to Transformer token embeddings, with edges constructed from syntactic dependencies. The model then fuses predictions from both streams to produce the final analytic score. Детали: - **Трансформеры (BERT, RoBERTA, DeBERTAv3):** Используются для понимания контекстов, фасилитируя понимание семантики текста. - **Graph Attention Networks (GAT):** Обрабатывают грамматические связи в тексте, построенные на основе синтаксических зависимостей. - **Two-stream architecture:** Обеспечивает детальный анализ на двух уровнях — по целостности текста и компонентному анализу. - **Prediction fusion:** Объединение прогнозов обеспечивает более полное представление качества текста. ### Результаты Аннотация: Experiments on the ELLIPSE dataset show that TransGAT outperforms baseline models, achieving an average Quadratic Weighted Kappa (QWK) of 0.854 across all analytic scoring dimensions. Детали: - **Dataset:** ELLIPSE — набор данных, содержащий эссе с разными уровнями сложности и аналитическими аспектами. - **Показатели:** QWK 0.854 показывает высокую точность и корреляцию с ручными оценками. - **Baseline models:** Оказались менее точными, не достигая такой высокой общей точности. ### Значимость Детали: - **Применения:** AES применяется в широкой области, включая системы оценки учебного прогресса, сертификацию знаний, дистанционные экзамены. - **Преимущества:** TransGAT предлагает более точное и комплексное понимание текста, учитывая контекстные и грамматические характеристики. - **Влияние:** Может повысить уровень автоматизации в образовательных процессах, уменьшить затраты времени и ресурсов на оценку. ### Выводы Аннотация: These findings highlight the potential of TransGAT to advance AES systems. Детали: - **Основные достижения:** Высокая точность и комплексный анализ текста. - **Направления будущих исследований:** Дальнейшее совершенствование модели, включая расширение данных, улучшение архитекту