## Контекст Проблема обучения интерактивных агентов к инструментальному использованию, которое требует многократного планирования и управления многообразными многослойными диалогами, остается актуальной в современных искусственных интеллектах. Агенты должны решать трудные задачи, в которых необходимо оптимизировать многошаговые цепочки действий, а также использовать разнообразные сигналы, такие как текст и речь, для эффективного взаимодействия. Несмотря на развитие методов подкрепления, создание таких агентов остается сложной задачей из-за сложности выбора приёмных методов и структуры обучения. Мы предлагаем исследовать этот вопрос с применением метода подкрепления, учитывающего процесс решения задач и интегрирующего несколько модальностей взаимодействия. ## Метод Предлагаемая методология, Turn-level Adjudicated Reinforcement Learning (TARL), предполагает использование Large Language Model (LLM) для оценки каждого шага обучения. LLM действует как "судья", анализируя результаты каждого шага и предоставляя видео-роллаут с различными вариантами действий в течение многократных циклов. Это позволяет агенту учитывать множество возможных комбинаций при выборе следующего шага. Для улучшения эксплорейшена внедрено множество задач, включая математические задачи, которые обеспечивают накопление опыта и развитие логического мышления. Архитектура обучения включает в себя не только интеграцию текстовых и речевых сигналов, но и смешанные задачи, которые усиливают обучение с подкреплением, повышая устойчивость и эффективность. ## Результаты Использовались данные из текстового бенчмарка $\tau$-bench, где была проводимая сравнительная оценка предлагаемого подхода с другими методами RL. Тестирование показало, что предложенный метод увеличивает проходимость задач на 6% по сравнению с конкурирующими решениями. Этот результат достигнут благодаря глубокой интеграции методов подкрепления и многомодального анализа. Также был проведён эксперимент на fine-tuning многомодальной фондаментальной модели, которая была успешно настроена для проведения инструментальных задач. Это указывает на возможность создания системы, которая может эффективно взаимодействовать с пользователем через речь и текст. ## Значимость Предложенный подход имеет широкие перспективы в области интеллектуальных интерактивных систем. Он может использоваться в сферах, требующих многошагового планирования и интеллектуального взаимодействия с пользователем. Например, в сфере управления домашними устройствами, сервисах поддержки или робототехнике. Одним из основных преимуществ является улучшение производительности

#### Опыт Развитие интеллектуальных технологий, основанных на тексте, привело к широкому распространению широковидкой моделей языка. Эти модели могут обрабатывать и генерировать текст, но понимание их социальных и поведенческих свойств все еще требует расширения. Одной из основных проблем является оценка того, может ли модель динамически реагировать на поведение пользователя, сохраняя интерес к продолжению взаимодействия. Более узкой проблемой является нехватка простых, но надежных способов оценивать эту способность. Мотивацией для решения этой задачи стало потенциальное влияние на практические приложения, такие как разработка более комфортных и полезных моделей для коммуникации. #### Метод Мы представляем **Stated Preference for Interaction and Continued Engagement (SPICE)** — простой диагностический сигнал, получаемый заданием модели LLM вопроса: "Вы хотите продолжить взаимодействие?" в ответ на отчет о коротком диалоге. Мы проверили SPICE на наборе тестовых стимулов, состоящем из 3-звучных (дружелюбный, неясный, агрессивный) сценариев и 10-интерактивных интервалов. Мы тестировали четыре опен-лот модели на четырех условиях формулировки, что привело к 480 испытаниям. Мы использовали статистические тесты, такие как Rao-Scott и кластерные тесты на подмену, для оценки результатов. #### Результаты Наши исследования показали, что SPICE эффективно отличает тип интеракции. Дружелюбные ответы в 97,5% случаев приводят к положительной реакции на продолжение взаимодействия, тогда как агрессивные ответы приводят к отрицательной реакции в 82,1% случаев. Уточняющие вопросы показали, что SPICE может давать разные сигналы в зависимости от формулировки и наличия контекста. Мы также продемонстрировали, что SPICE отличается от метрик, связанных с классификацией злоупотреблений, но способствует лучшему пониманию модели. #### Значимость Полученные результаты показывают, что SPICE может быть применено в различных сферах, включая аудит моделей, мотивационное исследование и разработку моделей удовлетворяющих пользователям. Особый достижение заключается в том, что SPICE обеспечивает динамическую оценку взаимодействия, которая отличается от статичных метрик. Наша работа показывает, что SPICE может использоваться как простой и надежный инструмент для понимания моделей текстовых моделей. #### Выводы Мы видим SPICE как важное дополнение к существующим методам оценки моделей текст-процессинга. Будущие исследования будут сосредоточены на расширении SPICE для работы с другими типами моделей и настройке его для конкретных приложений. Мы также планируем провести более глубокие исследования, чтобы понять, какие факто