📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Chi-Sheng Chen, En-Jui Kuo
#### Контекст
В последние годы наблюдается повышающийся интерес к применению квантовых вычислений в области естественных языков. Это связано с потенциалом квантовых архитектур улучшить текстовую генерацию за счет использования квантовых принципов, таких как свертка и внимание. Однако существуют ряд проблем, таких как недостаточность уникальных квантовых методов, ограниченность эффективности и недостаток сравнительных исследований с традиционными моделями. Наша мотивация заключается в разработке и оценке квантово-вдохновленных моделей генерации текстов, которые могут стать альтернативой или дополнением к традиционным Transformer/MLP-моделям.
#### Метод
Мы разработали многомодельный фреймворк, включающий в себя квантовые модели QRWKV, QKSAN, QASA и классическую модель Transformer в качестве базового сравнения. Наши модели используют квантовые принципы, такие как внимательные квантовые структуры и квантовые ядра, для улучшения взаимодействия с текстом. Затем мы проводили эксперименты на пяти различных датасетах: простых предложениях, коротких историях, фразах из квантовой физики, хайку-поэзии и провербах. Для оценки качества генерации мы применяли метрики, такие как perplexity, BLEU-1, Distinct-1, Distinct-2, repetition rate и fluency. Методология включала создание архитектур, эмпирическую оценку и сравнение результатов.
#### Результаты
Исследование показало, что традиционные модели Transformer показали низкую perplexity (1.21) и высокий BLEU-1 score (0.2895), демонстрируя высокую общую эффективность. Квантовые модели также показали свое преимущество в определенных аспектах: QRWKV достиг превосходной Distinct-1 (1.000), QKSAN показал меньшую repetition rate (0%), а QASA демонстрировала улучшенную fluency. Тем не менее, в общем сравнении традиционные модели оставались предпочтительными в большинстве аспектов.
#### Значимость
Результаты имеют практическое значение в сферах, где требуется высокое качество текстовой генерации, такие как генерация поэтического текста, формулировка проверок и глубокое понимание языка. Квантовые модели могут стать дополнением к традиционным методам, особенно для задач, где требуется снизить repetition rate или увеличить vocabulary diversity. Это открывает путь для последующих исследований в области квантовых текстовых моделей и их интеграции с традиционными архитектурами.
#### Выводы
Мы установили, что традиционные модели Transformer остаются наиболее эффективными в общем сравнении, но квантовые модели, такие как QRWKV и QKSAN, демонстрируют конкурентоспособность в частных случаях. Наши находки могут способствовать развитию новых квантовых архи
Annotation:
This paper presents a comprehensive evaluation of quantum text generation
models against traditional Transformer/MLP architectures, addressing the
growing interest in quantum computing applications for natural language
processing. We conduct systematic experiments comparing five distinct models:
Transformer (baseline), Quantum Kernel Self-Attention Network (QKSAN), Quantum
RWKV (QRWKV), and Quantum Attention Sequence Architecture (QASA) across five
diverse datasets including simple sentences, sh...