Highlight All the Phrases: Enhancing LLM Transparency through Visual Factuality Indicators

## Контекст Область исследования связана с технологиями глубокого обучения, в частности с широко распространенными large language models (LLMs). Несмотря на высокую эффективность LLMs в создании текстов, они часто страдают от "халлуцинаций" или "конфабуляций" — производства неточной или неверной информации. Хотя существуют методы для оценки и определения такого неточного текста, проблема заключается в том, как эффективно информировать пользователей об этом. Авторы статьи выделяют необходимость в разработке понятных интерфейсов, которые упростят пользователям валидацию точности ответов LLMs. ## Метод Исследователи провели два эксперимента с участием 208 участников, используя сценарии, в которых LLMs формировали ответы на вопросы. В экспериментах участники оценивали различные стили отображения фактичности ответов: от нетиповых отображений до цветового кодирования фраз в зависимости от их фактичности. Цель экспериментов — определить, какой подход будет наиболее эффективным для улучшения понимания и доверия к ответам LLMs. ## Результаты Полученные результаты показали, что участники предпочитали и доверяли стилю, в котором все фразы в ответе были цветом обозначены в зависимости от их фактичности. Этот подход также позволил участникам более легко проверять точность ответов по сравнению с базовым стилем, в котором не применялось никакого цветового кодирования. Наивысшие оценки получили цветовые индикаторы, которые позволяли быстро определить надежность отдельных фраз в ответе. ## Значимость Найденные результаты имеют практическое значение для разработчиков и дизайнеров интерфейсов LLMs. Они предложили конкретные рекомендации по цветовому обозначению фактичности ответов, что будет улучшать доверие пользователей и упрощать валидацию ответов. Эта работа может быть применена в различных сферах, где требуется высокая точность информации, таких как медицина, юриспруденция и образование. ## Выводы Авторы пришли к выводу, что цветовое кодирование фактичности ответов является эффективным способом улучшить понимание и доверие к LLMs. Они также направили свои исследования в будущее, подчеркнув необходимость дальнейшего исследования повышения транспарентности и эффективности интерфейсов LLMs. Эти разработки могут способствовать более уверенному использованию технологий глубокого обучения в различных сферах жизнедеятельности.