Dialogue Response Prefetching Based on Semantic Similarity and Prediction Confidence of Language Model
2508.04403v1
cs.CL
2025-08-09
Авторы:
Kiyotada Mori, Seiya Kawano, Angel Fernando Garcia Contreras, Koichiro Yoshino
Резюме на русском
Быстрота реакции систем с голосовым вводом определяется не только производительностью, но и правильностью предсказания пользовательских запросов. Одной из проблем в данной области является **User-Perceived Latency (UPL)** — время, проходящее от момента отправки запроса пользователем до получения ответа. Решить эту проблему можно предварительной загрузкой (prefetching) ответов, но для этого необходимо точно предсказать пользовательский запрос еще до его полного возникновения.
В статье предлагается **Prediction Confidence Model (PCM)**, который определяет возможность сделать предположение о пользовательском запросе на основе семантической схожести предложенного предположения и целевого запроса. PCM использует модель языка для вычисления уровня уверенности в том, что предсказанное предложение соответствует услышанному. Эксперименты показали, что **PCM** улучшает точность предсказаний и позволяет снизить UPL без ухудшения качества ответа.
Abstract
Prefetching of dialogue responses has been investigated to reduce
user-perceived latency (UPL), which refers to the user's waiting time before
receiving the system's response, in spoken dialogue systems. To reduce the UPL,
it is necessary to predict complete user utterances before the end of the
user's speech, typically by language models, to prepare prefetched dialogue
responses. In this study, we proposed a prediction confidence model (PCM) that
determines whether prefetching is possible or not by estimating the semantic
similarity between the predicted complete user utterance and the complete user
utterance. We evaluated our PCM based on the differences between the predicted
complete user utterance and the complete user utterance.
Ссылки и действия
Дополнительные ресурсы: