Ultra Strong Machine Learning: Teaching Humans Active Learning Strategies via Automated AI Explanations

########################## ## Контекст ########################## В последние десяти годы системы машинного обучения стали важной частью человеческой жизни и работы. Однако их эффективность зависит от взаимодействия с пользователями, чтобы создавать новые модели и улучшать существующие. Одна из проблем заключается в том, что пользователи часто не знакомы с системами машинного обучения и не могут полностью использовать их потенциал. Это исследование опирается на концепцию Ultra Strong Machine Learning (USML), чтобы решить эту проблему. USML заключается в том, что системы не только улучшают свои результаты, но и могут обучать пользователей, используя для этого символические логические программы и их объяснения. ########################## ## Метод ########################## В этой работе представлен метод LENS (Logic Programming Explanation via Neural Summarisation), который использует нейро-символический подход для автоматического создания логических программ и их объяснения в натуральной речи. LENS использует программный синтез для генерации логических программ и крупных лингвистических моделей (LLM) для их объяснения. Это новаторское решение заменяет ручное создание шаблонов объяснений автоматическим генерированием. Метод был протестирован с помощью нескольких LLM-судей и человеческой валидации, чтобы проверить его эффективность в создании качественных объяснений. ########################## ## Результаты ########################## Работа включала эксперименты с несколькими моделями LLM и человеческими участниками, чтобы оценить качество добавленных объяснений. Результаты показали, что LENS генерирует более качественные объяснения по сравнению с ручными шаблонами и LLM-промптингом. Были проведены учебные эксперименты с людьми в трех связанных областях, чтобы изучить, могут ли LENS и LLMs научить активные стратегии обучения. Однако не было выявлено значительных улучшений в показателях выполнения задач пользователей. ########################## ## Значимость ########################## Полученные результаты могут быть применены в областях, где требуется помощь в обучении, такие как образование, производство и здравоохранение. Например, LENS может помочь учителям и тренерам создавать качественные объяснения для своих учеников. Однако ограничения показали, что сложность LLM-объяснений может перегружать простые задачи, а не облегчать их понимание. ########################## ## Выводы ########################## Результаты исследования показали, что LENS может генерировать качественные объяснения, но для простых задач необходимо улучшить объяснения, чтобы они были более пригодными для пользователей. Будущие исследования будут сосредоточены на создании более гибких и индивидуальных подходов для обучения через USML. Исходный код LENS доступен на GitHub по ссылке: https://github.com/lun-ai/LENS.git.