Why Synthetic Isn't Real Yet: A Diagnostic Framework for Contact Center Dialogue Generation

#### Контекст Область исследования сосредоточена на генерировании синтетических диалогов в контактных центрах, где задачи прикладной естественной языковой обработки связаны с техническими и этическими вызовами. Существующие проблемы включают ограничения в доступе к реальным данным из-за приватности и нехватки данных для эффективной обработки и моделирования. Synthetic dialogue generation помогает адресовать эти вызовы, но требуются более точные методы для оценки качества сгенерированных диалогов. Исследование оправдывает потребность в детальной оценке, поскольку существующие подходы часто не удаляются на практике из-за проблем с неестественностью диалога, разрывом с точки зрения сентимента и недостатками в реалистичности поведения. #### Метод Предлагается методология, основывающаяся на гибкой архитектуре, которая использует комплексные сигналы руководства для генерирования диалогов. Основная техника включает многоэтапное генерирование, где каждый этап адаптируется к конкретным характеристикам диалога в контактных центрах, таким как роль-асимметрия, неструктурированность, и правила соблюдения. Метод также использует новый диагностический фреймворк, который состоит из 18 метрик, охватывающих лингвистические и поведенческие аспекты. Эти метрики позволяют сравнить реальные и синтетические диалоги, выявляя с WEAKNESSES в каждой области. Технологические решения включают в себя несколько моделей языка, таких как GPT-3, а также новые методы стимулирования, чтобы продвинуть границы реалистичности. #### Результаты Исследование проводит эксперименты с четырьмя моделями и вариантами генерирования диалогов, включая простые команды и характеристически-ориентированные подходы. Результаты показывают, что ни один подход не показывает превосходства над другими по всем 18 метрикам. Особое внимание уделяется проблемам, таким как неестественность диалога (disfluency), предсказуемость сентимента и недостаточная реалистичность поведения. Например, модели, которые работают с характеристически-ориентированным подходом, показывают лучший результат в области intent recognition, но страдают от неестественности лексики. Базовые референсы, основанные на некоторых характеристиках, также показывают сильные стороны, но ограничены в области полноты. #### Значимость Предложенный подход имеет широкие применения в областях, где необходимо создание реалистичных диалогов для тестирования моделей и моделирования различных сценариев в контактных центрах. Он помогает выявить с WEAKNESSES в существующих моделях и делает возможным улучш