Stated Preference for Interaction and Continued Engagement (SPICE): Evaluating an LLM's Willingness to Re-engage in Conversation

#### Опыт Развитие интеллектуальных технологий, основанных на тексте, привело к широкому распространению широковидкой моделей языка. Эти модели могут обрабатывать и генерировать текст, но понимание их социальных и поведенческих свойств все еще требует расширения. Одной из основных проблем является оценка того, может ли модель динамически реагировать на поведение пользователя, сохраняя интерес к продолжению взаимодействия. Более узкой проблемой является нехватка простых, но надежных способов оценивать эту способность. Мотивацией для решения этой задачи стало потенциальное влияние на практические приложения, такие как разработка более комфортных и полезных моделей для коммуникации. #### Метод Мы представляем **Stated Preference for Interaction and Continued Engagement (SPICE)** — простой диагностический сигнал, получаемый заданием модели LLM вопроса: "Вы хотите продолжить взаимодействие?" в ответ на отчет о коротком диалоге. Мы проверили SPICE на наборе тестовых стимулов, состоящем из 3-звучных (дружелюбный, неясный, агрессивный) сценариев и 10-интерактивных интервалов. Мы тестировали четыре опен-лот модели на четырех условиях формулировки, что привело к 480 испытаниям. Мы использовали статистические тесты, такие как Rao-Scott и кластерные тесты на подмену, для оценки результатов. #### Результаты Наши исследования показали, что SPICE эффективно отличает тип интеракции. Дружелюбные ответы в 97,5% случаев приводят к положительной реакции на продолжение взаимодействия, тогда как агрессивные ответы приводят к отрицательной реакции в 82,1% случаев. Уточняющие вопросы показали, что SPICE может давать разные сигналы в зависимости от формулировки и наличия контекста. Мы также продемонстрировали, что SPICE отличается от метрик, связанных с классификацией злоупотреблений, но способствует лучшему пониманию модели. #### Значимость Полученные результаты показывают, что SPICE может быть применено в различных сферах, включая аудит моделей, мотивационное исследование и разработку моделей удовлетворяющих пользователям. Особый достижение заключается в том, что SPICE обеспечивает динамическую оценку взаимодействия, которая отличается от статичных метрик. Наша работа показывает, что SPICE может использоваться как простой и надежный инструмент для понимания моделей текстовых моделей. #### Выводы Мы видим SPICE как важное дополнение к существующим методам оценки моделей текст-процессинга. Будущие исследования будут сосредоточены на расширении SPICE для работы с другими типами моделей и настройке его для конкретных приложений. Мы также планируем провести более глубокие исследования, чтобы понять, какие факто