The Human-AI Hybrid Delphi Model: A Structured Framework for Context-Rich, Expert Consensus in Complex Domains
2508.09349v1
cs.CL, cs.AI
2025-08-15
Авторы:
Cathy Speed, Ahmed A. Metwally
Резюме на русском
## Контекст
Область исследования связана с развитием методов разработки экспертного согласия в сложных и неоднозначных дисциплинах. Традиционные подходы, такие как Delphi-техника и консенсусные конференции, сталкиваются с проблемами, такими как высокая нагрузка на экспертов, недостаточная уточненность и преобладание простых решений в ущерб контекстуальности. Эти проблемы усиливаются в условиях современного мира, охваченного информационным перегрузом, разбросом рекомендаций и недостатком фильтрации экспертной информации. В данном исследовании предлагается новая модель Human-AI Hybrid Delphi (HAH-Delphi), которая интегрирует генерирующуюся AI-систему (Gemini 2.5 Pro), малые панели экспертов и структурированный подход к управлению процессом. Модель целесообразна для создания контекстуально обоснованных, гибких и скоростных рекомендаций в сферах, где требуется высокая точность и контекстная настройка.
## Метод
Методология HAH-Delphi представляет собой структурированный процесс, включающий три фазы. **Фаза 1 (ретроспективная репликация)**: AI-система проверяла свои выводы с публикационными рекомендациями в сложных дисциплинах. **Фаза 2 (прямая сравнительная оценка)**: AI сравнивалась с отвечами экспертов в реальных контекстах. **Фаза 3 (применение в реальной сфере)**: экспертиза AI и экспертов использовалась для построения консенсуса в сферах спортивного тренинга и фитнеса. Архитектура HAH-Delphi основывается на глубокой интеграции генеративной модели AI, экспертных комментариев и структурированных шаблонов управления. Это позволяет уменьшить нагрузку на панели экспертов, улучшить контекстуальность рекомендаций и ускорить достижение консенсуса.
## Результаты
**Фаза 1**: AI демонстрировала 95% точности в повторении публикационных рекомендаций. **Фаза 2**: 95% согласия в направлении рекомендаций с ответами экспертов. **Фаза 3**: экспертные панели достигли >90% согласия и развития темы до окончания исследования. AI способствовала устранению разночтений и ускорению достижения консенсуса. Эта модель позволяет поддерживать контекстуальную точность и разрешать конфликты мнений, уменьшая время и сложность при построении экспертных рекомендаций.
## Значимость
HAH-Delphi может применяться в различных сферах, включая здравоохранение, спортивную науку, образовательные программы и трансформационные технологии. Он обеспечивает контекстуальную гибкость, уменьшает нагрузку на экспертов и ускоряет процесс создания рекомендаций. Этот подход позволяет эффективно решать проблемы, связанные с размытым базой знаний, перегрузкой
Abstract
Expert consensus plays a critical role in domains where evidence is complex,
conflicting, or insufficient for direct prescription. Traditional methods, such
as Delphi studies, consensus conferences, and systematic guideline synthesis,
offer structure but face limitations including high panel burden, interpretive
oversimplification, and suppression of conditional nuance. These challenges are
now exacerbated by information overload, fragmentation of the evidence base,
and increasing reliance on publicly available sources that lack expert
filtering. This study introduces and evaluates a Human-AI Hybrid Delphi
(HAH-Delphi) framework designed to augment expert consensus development by
integrating a generative AI model (Gemini 2.5 Pro), small panels of senior
human experts, and structured facilitation. The HAH-Delphi was tested in three
phases: retrospective replication, prospective comparison, and applied
deployment in two applied domains (endurance training and resistance and mixed
cardio/strength training). The AI replicated 95% of published expert consensus
conclusions in Phase I and showed 95% directional agreement with senior human
experts in Phase II, though it lacked experiential and pragmatic nuance. In
Phase III, compact panels of six senior experts achieved >90% consensus
coverage and reached thematic saturation before the final participant. The AI
provided consistent, literature-grounded scaffolding that supported divergence
resolution and accelerated saturation. The HAH-Delphi framework offers a
flexible, scalable approach for generating high-quality, context-sensitive
consensus. Its successful application across health, coaching, and performance
science confirms its methodological robustness and supports its use as a
foundation for generating conditional, personalised guidance and published
consensus frameworks at scale.
Ссылки и действия
Дополнительные ресурсы: