## Контекст Область исследования сосредоточена на исследовании возможностей использования квантовых аннелинг-машин D-Wave для обучения моделей типа Restricted Boltzmann Machines (RBMs). Также внимание уделяется рассмотрению проблемы **catastrophic forgetting (CF)**, которая возникает при многозадачном инкрементном обучении. Мотивацией данного исследования является необходимость решения проблемы несостоятельности квантового аннелинга в D-Wave для улучшения RBM, в сравнении с классическими методами монте-карловых цепей (MCMC). Однако, некоторые моменты в работах, использующих квантовую аппаратуру, показали небольшие, но существующие различия в производительности. Это вдохновило рассмотрение возможности комбинирования классических методов и квантовых методов в создании более эффективных подходов для задач обучения и CF-минимизации. ## Метод Исследование основывается на использовании D-Wave quantum annealer (QA) для генерации значений сигма-распределения, используемых в качестве входных данных для обучения RBM. Методология включает сравнительное исследование QA и MCMC, а на основе полученных результатов разрабатывается гибридный подход, объединяющий мощности обеих методик. Эксперименты проводились на собственных данных, а для оценки качества полученных решений функции ошибок RBM и качества сэмплирования использовались. Также для обучения RBM применялся подход с постепенным добавлением новых классов (incremental learning), чтобы проверить возможность минимизации CF. ## Результаты Детальные эксперименты показали, что в целом, различия в производительности между QA и MCMC незначительны. Однако QA-сэмплинг демонстрирует незначительное преимущество в сэмплировании в средних и низких процентилях распределения. Обучение RBM с помощью QA не дало значимых преимуществ по сравнению с MCMC. Однако, применяя QA в контексте CF-минимизации, можно использовать метод **generative replay**, генерируя новые данные для категорий, которые могут быть забыты в процессе многозадачного обучения. Это позволило показать, что QA может генерировать разнообразные и качественные сэмплы для CF-минимизации, приблизительно на уровне классических методов. ## Значимость Полученные результаты имеют перспективу в нескольких областях: 1) Улучшение обучения RBMs и других моделей, когда применяются квантовые методы для сэмплирования; 2) Минимизация CF при многозадачном обучении, где QA позволяет генерировать разнообразные сэмплы, значительно увеличивая эффективность метода generative replay; 3) Потенциал для дальнейшего улучшения технологий квантового сэмплинга, что может сделать QA более эффективным в будущих исследованиях. ## Выводы В ходе работы было доказано,

## Контекст Область исследования связана с применением квантовых вычислений для решения задач семплирования с помощью Restricted Boltzmann Machines (RBMs). RBMs широко используются в области машинного обучения для семплирования из заданных вероятностных распределений. Несмотря на их большой потенциал, существуют проблемы с качеством семплирования. Для решения этой проблемы рассматривается использование квантовых вычислений, в частности, технологии D-Wave Quantum Annealing. Однако до сих пор не было доказано, что квантовые технологии могут значительно повысить качество семплирования по сравнению с традиционными методами, такими как Markov Chain Monte Carlo (MCMC). ## Метод Для сравнения D-Wave Quantum Annealing и MCMC использовалась локально-пониженная (local-valley, LV) оценка качества семплирования. Эта методика основывается на сравнении числа локальных минимумов (вырожденных энергетических состояний), которые содержат отдельные выборки, и на вычислении энергии соответствующих минимумов. Эксперименты проводились на последнем поколении квантового аннелинга D-Wave. Для семплирования использовались выборки Gibbsа, полученные при классическом обучении RBM, и выборки, полученные с помощью D-Wave. Отличительной чертой этого подхода является то, что LV-оценка позволяет оценивать качество семплирования не только через локальные минимумы, но и с учетом характеристик энергетических состояний. ## Результаты Исследования показали, что использование D-Wave Quantum Annealing не приводит к значительному повышению числа локальных минимумов, к которым относится выборка. Хотя D-Wave при семплировании в целом принадлежат большему числу локальных минимумов, многие из этих минимумов не найдены при использовании Gibbs-семплирования. Однако, в сильно высшем пробеле, D-Wave и MCMC находят много общих минимумов, что указывает на некоторую недополняемость двух методов. Более того, удается найти "важные" локальные минимумы, только одним из двух методов, в то время как другой пропускает их. Эти результаты показывают, что D-Wave может давать некий пользу, но не значительно превосходит MCMC, особенно во второй половине этапов обучения RBM, когда качество семплирования может играть ключевую роль для обучения. ## Значимость Результаты имеют значимую теоретическую и практическую значимость. Они помогают понять, почему квантовые технологии D-Wave не приводят к существенному улучшению качества семплирования, но также открывают пути для повышения качества, в частности, с помощью использования комбинированного классического-квантового подхода. Эти результаты могут быть полезны для развития новых методов семплирования и их использования в области машинного обучения и виртуальных экспери

## Контекст Сети Больцмана — дискретные статистические модели, применяемые в машинном обучении, визуальном распознавании и анализе текста. Одна из наиболее известных моделей — ограниченная сеть Больцмана (Restricted Boltzmann Machine, RBM), которая обладает фундаментальным значением в задачах семантического понимания и распознавания образов. Однако существуют проблемы со сходимостью и эффективностью обучения таких сетей. Эффективность обучения RBM может быть значительно улучшена с помощью семплирования из вероятностной модели, но эта задача требует сложных методов семплирования. Одним из таких методов является метод Монте-Карло по стохастическому аннеалингу (Quantum Annealing), который может обеспечить более точное семплирование по сравнению с традиционными методами. В этом исследовании был проведен сравнительный анализ методов семплирования для RBM. ## Метод Для сравнения использовались два метода: **семплирование через D-Wave (Quantum Annealing)** и **метод Монте-Карло по Марковским цепям (Markov Chain Monte Carlo, MCMC)**. Основной идеей Quantum Annealing является поиск локальных минимумов возможных состояний сети Больцмана с помощью квантовых процессов. Метод MCMC, в свою очередь, семплирует состояния с помощью стохастических процессов. Оба метода были применены к тренировочным данным RBM с разными параметрами, включая контрастное разделение и эпохи тренировки. Для сравнения использовались показатели, такие как доля локальных минимумов, к которым принадлежат семплируемые состояния. ## Результаты На основе проведенных экспериментов выяснилось, что **D-Wave** может обеспечить более разнообразное семплирование по сравнению с MCMC. Однако, несмотря на то, что D-Wave обнаруживает больше локальных минимумов, многие из них отличаются от тех, которые обнаруживает MCMC. Это может быть связано с разными механизмами поиска минимумов в двух методах. Также было выявлено, что **D-Wave** обнаруживает больше локальных минимумов в более поздних эпохах обучения, что может быть связано с увеличением степени сложности в RBM. Однако, в целом, не было доказано значительное улучшение числа локальных минимумов при использовании D-Wave в сравнении с MCMC. ## Значимость Результаты имеют большое значение для области машинного обучения и семплирования в моделях Больцмана. Использование квантовых методов, таких как D-Wave, может помочь улучшить качество семплирования в RBM, что может быть решающим для задач, требующих высокой точности. Будущие исследования могут сфокусироваться на создании комбинированных классическо-квантовых подходов, которые могут объединить преимущества метода