OnGoal: Tracking and Visualizing Conversational Goals in Multi-Turn Dialogue with Large Language Models

#### Контекст Применение технологий генерирующих текст в области многократного общения с большими лингвистическими моделями (LLM) позволяет решить многие задачи в области обмена информацией, управления задачами и поиска решений. Однако, при увеличении трудности и продолжительности таких диалогов становится сложнее пользователям отслеживать и контролировать прогресс решения задач. Это может привести к ошибкам, путанице и потере времени. Необходима система, которая помогала бы пользователям отслеживать прогресс и корректировать стратегии общения с моделью. #### Метод На основе библиотеки коммуникации с LLM разработана интерфейсная система OnGoal, которая использует методы глубокого обучения для предоставления реального времени оценок степени соответствия пользовательских задач и решений модели. Интерфейс включает в себя функции, такие как реальное время визуализация прогресса, точные оценки прогресса по целям пользователя, а так же подробные объяснения результатов с примерами из диалога. Данная система также позволяет пользователю отслеживать изменения в стратегии общения в течение всего диалога. #### Результаты Проведенные эксперименты с 20 участниками показали, что использование OnGoal при построении диалога с LLM существенно сокращает время и усилия, необходимые для достижения целей. Участники, использовавшие OnGoal, демонстрировали более эффективные стратегии общения, такие как уточнение вводных данных и изменение темы диалога для устранения непонятностей. Эти результаты подтверждают, что поддержка целей в диалоге может улучшить эффективность и удовлетворение пользователей. #### Значимость OnGoal может применяться в различных сферах, включая обучение, консультации и управление проектами, где пользователи работают с LLM для достижения конкретных целей. Он уменьшает когнитивный нагрузку пользователей, улучшает взаимодействие и позволяет добиваться более точных результатов. Это может улучшить общую эффективность диалога с моделями и увеличить удовлетворение пользователей. #### Выводы Результаты исследования показали, что OnGoal значительно улучшает работу с LLM в многократных диалогах, помогая пользователям поддерживать прогресс в задачах и стратегии общения. Будущие исследования будут сфокусированы на расширении функционала интерактивности и повышении точности оценок прогресса. Эти направления могут привести к более широкому применению технологий LLM в профессиональных и образовательных сферах.