Calibrated Generative AI as Meta-Reviewer: A Systemic Functional Linguistics Discourse Analysis of Reviews of Peer Reviews

2509.15035v1 cs.AI, cs.HC 2025-09-20
Авторы:

Gabriela C. Zapata, Bill Cope, Mary Kalantzis, Duane Searsmith

Резюме на русском

## Контекст Область исследования связана с применением искусственного интеллекта в обучении, а именно с использованием генерирующих моделей AI для поддержки формативных оценок в образовательном процессе. Одной из проблем является недостаток качественного обратного общения между студентами в формате пилотного обзора. Обратная связь, предоставляемая человеком, часто несогласованна, неполна или недоступна вовремя, что снижает мотивацию студентов и свойственность к саморегулированию. Поэтому возникает мотивация исследовать возможности генерирующих моделей AI для создания эффективного и согласованного обратного общения в образовательных процессах. ## Метод Методология основывается на теории системных функциональных языковых анализов и теории оценочного языка. Работа была проведена с использованием 120 образцов метаобзоров, полученных с помощью генерирующего AI в курсах для аспирантов в среднем образовании. Анализ основывался на трех измерениях: идеонаторных, интерперсональных и текстовых. Целью было определить, насколько модель AI может воспроизводить ключевые элементы эффективного человеческого обратного общения, включая рубрики, язык, нейтральность и значимость работы студента. ## Результаты Анализ показал, что генерирующая модель AI может не только воспроизводить рубрики и ключевые качества обратного общения, но и выражаться в позитивном, но конструктивном тоне. Она сочетает в себе дикторство и сочувствие, что создает положительное воздействие на студентов. Большая часть метаобзоров была значимыми, ясными и соответствовала требованиям рубрики. Это доказывает, что модель AI может стать эффективным средством поддержки формативных рецензий, обеспечивая студентам конструктивную и мотивирующую обратную связь. ## Значимость Полученные результаты могут быть применены в различных образовательных системах для улучшения процесса обратной связи. Генерирующая AI может быть использована для создания метаобзоров, которые будут идеально подходить для новичков и продвинутых студентов. Это создает возможность для повышения конструктивной критики, улучшения литературы обратной связи и укрепления позитивного мотивационного климата в образовательной среде. ## Выводы Результаты исследования подтвердили, что генерирующая AI может быть эффективно использована как мета-рецензент в образовательных процессах. Она может помочь развитию навыков обратной связи и улучшить коммуникацию между студентами, обеспечивая сбалансированный и мотивирующий подход. Будущие исследования будут сфокусированы на расширении области при

Abstract

This study investigates the use of generative AI to support formative assessment through machine generated reviews of peer reviews in graduate online courses in a public university in the United States. Drawing on Systemic Functional Linguistics and Appraisal Theory, we analyzed 120 metareviews to explore how generative AI feedback constructs meaning across ideational, interpersonal, and textual dimensions. The findings suggest that generative AI can approximate key rhetorical and relational features of effective human feedback, offering directive clarity while also maintaining a supportive stance. The reviews analyzed demonstrated a balance of praise and constructive critique, alignment with rubric expectations, and structured staging that foregrounded student agency. By modeling these qualities, AI metafeedback has the potential to scaffold feedback literacy and enhance leaner engagement with peer review.

Ссылки и действия