Quantum-Enhanced Natural Language Generation: A Multi-Model Framework with Hybrid Quantum-Classical Architectures
2508.21332v1
quant-ph, cs.CL, cs.LG
2025-09-02
Авторы:
Chi-Sheng Chen, En-Jui Kuo
Резюме на русском
#### Контекст
В последние годы наблюдается повышающийся интерес к применению квантовых вычислений в области естественных языков. Это связано с потенциалом квантовых архитектур улучшить текстовую генерацию за счет использования квантовых принципов, таких как свертка и внимание. Однако существуют ряд проблем, таких как недостаточность уникальных квантовых методов, ограниченность эффективности и недостаток сравнительных исследований с традиционными моделями. Наша мотивация заключается в разработке и оценке квантово-вдохновленных моделей генерации текстов, которые могут стать альтернативой или дополнением к традиционным Transformer/MLP-моделям.
#### Метод
Мы разработали многомодельный фреймворк, включающий в себя квантовые модели QRWKV, QKSAN, QASA и классическую модель Transformer в качестве базового сравнения. Наши модели используют квантовые принципы, такие как внимательные квантовые структуры и квантовые ядра, для улучшения взаимодействия с текстом. Затем мы проводили эксперименты на пяти различных датасетах: простых предложениях, коротких историях, фразах из квантовой физики, хайку-поэзии и провербах. Для оценки качества генерации мы применяли метрики, такие как perplexity, BLEU-1, Distinct-1, Distinct-2, repetition rate и fluency. Методология включала создание архитектур, эмпирическую оценку и сравнение результатов.
#### Результаты
Исследование показало, что традиционные модели Transformer показали низкую perplexity (1.21) и высокий BLEU-1 score (0.2895), демонстрируя высокую общую эффективность. Квантовые модели также показали свое преимущество в определенных аспектах: QRWKV достиг превосходной Distinct-1 (1.000), QKSAN показал меньшую repetition rate (0%), а QASA демонстрировала улучшенную fluency. Тем не менее, в общем сравнении традиционные модели оставались предпочтительными в большинстве аспектов.
#### Значимость
Результаты имеют практическое значение в сферах, где требуется высокое качество текстовой генерации, такие как генерация поэтического текста, формулировка проверок и глубокое понимание языка. Квантовые модели могут стать дополнением к традиционным методам, особенно для задач, где требуется снизить repetition rate или увеличить vocabulary diversity. Это открывает путь для последующих исследований в области квантовых текстовых моделей и их интеграции с традиционными архитектурами.
#### Выводы
Мы установили, что традиционные модели Transformer остаются наиболее эффективными в общем сравнении, но квантовые модели, такие как QRWKV и QKSAN, демонстрируют конкурентоспособность в частных случаях. Наши находки могут способствовать развитию новых квантовых архи
Abstract
This paper presents a comprehensive evaluation of quantum text generation
models against traditional Transformer/MLP architectures, addressing the
growing interest in quantum computing applications for natural language
processing. We conduct systematic experiments comparing five distinct models:
Transformer (baseline), Quantum Kernel Self-Attention Network (QKSAN), Quantum
RWKV (QRWKV), and Quantum Attention Sequence Architecture (QASA) across five
diverse datasets including simple sentences, short stories, quantum phrases,
haiku poetry, and proverbs. Our evaluation employs multiple metrics including
perplexity, BLEU scores, vocabulary diversity, repetition rates, and fluency
measures to assess different aspects of text generation quality. The
experimental results reveal that while traditional Transformer models maintain
overall superiority with the lowest average perplexity (1.21) and highest
BLEU-1 score (0.2895), quantum-inspired models demonstrate competitive
performance in specific scenarios. Notably, QKSAN achieves a competitive BLEU-1
score of 0.2800 while maintaining zero repetition rates, and QRWKV demonstrates
perfect vocabulary diversity (Distinct-1 = 1.000) in certain tasks.
Ссылки и действия
Дополнительные ресурсы: