📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Jaclyn Ocumpaugh, Luc Paquette, Ryan S. Baker, Amanda Barany, Jeff Ginger, Nathan Casano, Andres F. Zambrano, Xiner Liu, Zhanlan Wei, Yiqui Zhou, Qianhui Liu, Stephen Hutt, Alexandra M. A. Andres, Nidhi Nasiar, Camille Giordano, Martin van Velsen, Micheal Mogessi
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Data Driven Classroom Interviews (DDCIs) are an interviewing technique that is facilitated by recent technological developments in the learning analytics community. DDCIs are short, targeted interviews that allow researchers to contextualize students' interactions with a digital learning environment (e.g., intelligent tutoring systems or educational games) while minimizing the amount of time that the researcher interrupts that learning experience, and focusing researcher time on the events they ...
Авторы:
Xi Long, Christy Boscardin, Lauren A. Maggio, Joseph A. Costello, Ralph Gonzales, Rasmyah Hammoudeh, Ki Lai, Yoon Soo Park, Brian C. Gin
#### Контекст
Информационные технологии становятся важной составляющей в сфере здравоохранения, поддерживая клинические решения и знания. Однако их эффективность зависит от качества данных и точности их интерпретации. Автоматизация процессов сбора и анализа данных с помощью ИИ позволяет ускорить работу, но она не без проблем. Одна из основных проблем — возникновение "халлуцинаций" в искусственном интеллекте, когда система генерирует неверные или неподходящие данные. Данное исследование фокусируется на проблеме различения "халлуцинаций" от интерпретаций человека и на поиске способов повысить точность и эффективность ИИ-помощи в синтезе знаний.
#### Метод
Для экспериментов использовался ИИ-ориентированный платформа для выполнения синтеза знаний. Авторы исследования оценили работу системы на 187 публикациях с 17 вопросами, полученными из специального специального обзора. Для оценки согласованности ответов сравнивались результаты ИИ и человеческих ответов. Для категориальных вопросов использовалась мера interrater reliability, а для открытых вопросов — тематическая согласованность. Ошибки выявлялись путем сравнения ответов с исходными публикациями.
#### Результаты
Находилось, что ИИ показывает высокую согласованность с человеческими ответами в тех случаях, когда ответы являются четко определенными и не требуют интерпретации (например, заголовок, цель исследования). Однако при вопросах, требующих субъективного разбора или отсутствующих в исходных данных, согласованность значительно ниже. Практически все ошибки в ответах ИИ были связаны с интерпретационными трудностями (18.3%), в то время как человеческие ошибки происходили намного чаще (4.37%). AI-анализ позволил выявить сложности интерпретации, что позволило улучшить процесс прежде чем передать результаты на человеческий проверку.
#### Значимость
Естественная синхронность ИИ с человеческими ответами показывает возможность использовать артифициальный интеллект в качестве достоверного и полезного инструмента в знаний синтезе. В то же время, находились значительные отличия во время выявления сложных ситуаций, что подтверждает необходимость человеческого вклада в процесс. Исследование свидетельствует о возможности использования ИИ в процессе знаний синтеза, но также указывает на необходимость осторожности в работе с интерпретируемыми данными.
#### Выводы
Результаты демонстрируют, что ИИ может стать достоверным и эффективным сопутствующим средством в синтезе знаний, но его работа требует дополнительного анализа и контроля
Annotation:
Knowledge syntheses (literature reviews) are essential to health professions
education (HPE), consolidating findings to advance theory and practice.
However, they are labor-intensive, especially during data extraction.
Artificial Intelligence (AI)-assisted extraction promises efficiency but raises
concerns about accuracy, making it critical to distinguish AI 'hallucinations'
(fabricated content) from legitimate interpretive differences. We developed an
extraction platform using large language mo...