## Контекст Изучение торговли с большим числом параметров (multi-armed bandits) широко распространено в машинном обучении и применяется для решения задач, где необходимо балансировать исследование (exploration) и использование накопленной информации (exploitation). В этой работе автор рассматривает применение многоруких бандитов для изучения свойств квантовых состояний с помощью онлайн-методов. Он отмечает, что существующие подходы к изучению квантовых состояний часто требуют большого количества измерений, что может повлечь деструктивное воздействие на состояние. Идея заключается в использовании многоруких бандитов для оптимизации измерений и сокращения количества необходимых измерений для получения точных оценок свойств квантовых состояний. ## Метод Работа опирается на методику многоруких бандитов с оптимизацией значений ожидания. Автор использует методы, основанные на оптимистической логике, которые позволяют контролировать значения ожидания в основе выбора действий. Он разрабатывает алгоритмы, которые используют оптимистическую инициализацию для уменьшения регрета (суммарного отличия между текущим результатом и максимально возможным). Этот подход используется для переформулировки задачи томографии квантовых состояний и для оптимизации измерения в рамках теории информации. ## Результаты Автор проверяет свой подход на различных ситуациях: для изучения чистого квантового состояния, для рекомендательных систем квантовых систем, а также для извлечения работы из квантовых состояний. В качестве теста используются различные структуры данных, включая дискретные и непрерывные диапазоны. Он показывает, что регрет масштабируется как квадратный корень от числа итераций, что демонстрирует эффективность подхода. Более того, применение этого подхода к томографии квантовых состояний позволяет эффективно измерять состояние с минимальным воздействием на него. ## Значимость Предложенный подход может быть применен в оптимизации измерений в квантовой томографии, эффективном извлечении работы из квантовых состояний и в построении рекомендательных систем квантовых систем. Он обеспечивает эффективное уменьшение числа измерений, что критически важно для квантовых систем, где каждое измерение может повредить состояние. Этот подход также может иметь широкое применение в области машинного обучения, где необходимо балансировать исследование и использование накопленной информации. ## Выводы Работа показывает, что многорукие бандиты могут эффективно применяться для изучения квантовых состояний, уменьшая количество измерений и оптимизируя получение информации. Будущие исследования могут сосредоточиться на расширении этого

## Контекст Недавние развития в области глубокого обучения и реинфорсментного обучения (RL) позволили значительно улучшить планировочные возможности больших языковых моделей (LLM). Однако теоретическая природа этих улучшений остается не полностью понятной. В данной работе мы проводим исследование преимуществ и ограничений RL с помощью графовой абстракции, которая позволяет изучить ситуации, где RL может быть эффективным, а также где могут возникнуть проблемы. Эта модель позволяет сравнивать методы RL, таких как policy gradient (PG) и Q-learning, с другими моделями, такими как предварительно приточенные (supervised fine-tuned, SFT) модели, и выявлять преимущества и недостатки каждого подхода. ## Метод В этой работе используется графовая абстракция, которая представляет задачи планирования в виде состояний и действий на графе. Мы изучаем, как RL-методы, такие как PG и Q-learning, взаимодействуют с этой абстракцией и как они могут решать задачи планирования. Мы также проводим сравнение с SFT-моделями, которые обучаются с помощью Supervised Learning. Затем мы проводим эксперименты, используя реальные задачи планирования, такие как Blocksworld, в которых мы можем сравнить результаты настоящих данных с теоретическими выводами. ## Результаты Наши эксперименты показали, что SFT может привести к проблеме спуруосных решений, которые возникают из-за взаимосвязи входных данных, но не всегда корректно решают задачу планирования. RL, в свою очередь, более эффективно решает эти задачи, особенно благодаря эксплорерским поведениям, которые позволяют RL-системам улучшать свою общезначимость. Однако мы также выявили, что PG может привести к "уплотнению диверсификации" (diversity collapse), когда диверсификация решений уменьшается на протяжении обучения, даже если система достигает идеальной точности. Мы также показали, как Q-learning может стать более диверсифицированной, но только при условии правильного дизайна наград. ## Значимость Наши результаты имеют значительное значение для развития RL в области планирования языковых моделей. Мы показали, что RL может быть эффективным для решения задач планирования, но необходимо внимательно проектировать наградные функции для избежания проблем, таких как "уплотнение диверсификации". Мы также показали, что Q-learning может показаться более гибким и диверсифицированным в контексте RL. Эти результаты могут быть применены в различных областях, где требуется планирование и проектирование решений, таких как машинное обучение, игровые системы и управление. ## Выводы Мы получили значительные теоретические и практические выводы о преимуществах и ограничениях RL в задачах планирования. Мы выявили, что RL мо

## Контекст Байесовские нейронные сети (BNN) — один из самых мощных подходов к оценке неопределённости в моделях машинного обучения. Они позволяют моделировать не только прогнозы, но и уровень неопределённости, связанный с весами сети. Это ключевой фактор для применения BNN в сценариях, требующих высокой надежности и точности оценки неопределённости, таких как клинические диагностики, финансовые прогнозы или анализ экстремальных ситуаций. Однако успешное применение BNN ограничивается трудностями в настройке многообразия гиперпараметров, влияющих на качество прогнозов и эффективность неопределённости. Недостаток понимания взаимосвязи этих гиперпараметров приводит к нередкой ситуации, когда модели, хотя и демонстрируют высокую точность, не обеспечивают достаточного уровня неопределённости, что может привести к ошибочным выводам в решениях. ## Метод Мы применяем метод анализа чувствительности для исследования влияния различных гиперпараметров BNN на процесс обучения и результаты моделирования. Исходные данные, используемые в экспериментах, содержат искусственные и реальные ситуации, включая задачи классификации и регрессии. Для сравнения мы используем типичные гиперпараметры, такие как размер сети, скорость обучения, моменты и параметры регуляризации. Метод анализа чувствительности позволяет определить, какие гиперпараметры имеют наибольшее влияние на результат, а также выяснить степень взаимодействия этих параметров. ## Результаты Наши эксперименты показали, что многие гиперпараметры имеют сильно взаимосвязанное воздействие друг на друга. Например, увеличение размера сети может улучшить точность прогноза, но при этом ухудшить неопределённость. Также мы обнаружили, что наиболее влиятельными гиперпараметрами являются скорость обучения и моменты. Наблюдалось, что неправильная настройка этих параметров может привести к снижению качества модели в целом. Также мы обнаружили, что некоторые комбинации гиперпараметров могут привести к неожиданным результатам, в частности, к ухудшению неопределённости без улучшения точности прогнозов. ## Значимость Полученные результаты имеют большую значимость для практического применения BNN в реальных задачах. Они подтверждают, что для достижения качественных результатов необходимо использовать специальные методы, такие как глобальный анализ чувствительности или байесовская оптимизация, для оптимальной настройки гиперпараметров. Эти методы позволяют уменьшить меру неопределённости, обеспечивая точные прогнозы и упрощая выбор гиперпараметров. Более то

#### Контекст Discrete diffusion models (DDMs) представляют собой мощные методы для генерации данных в дискретных модальностях, таких как текст и молекулы. Однако их практическое применение существенно ограничено неэффективностью процесса семплирования, требующим большого числа шагов. За счет увеличения шага семплирования можно ускорить процесс, однако это приводит к серьезным проблемам в генерируемых данных. Такие проблемы включают ускорение суммарного ошибки декодирования из-за использования факторизованных предсказаний и увеличение дискретизационной ошибки в результате численных операций. Эти факторы существенно снижают качество семплирования. Данная проблема требует развития эффективных методов, позволяющих обеспечить высокое качество генерируемых данных при меньшем числе шагов семплирования. #### Метод Мы предлагаем **learnable sampler distillation (LSD)** — метод оптимизации скорости и качества семплирования в DDMs. LSD основывается на принципе классического метода дистилляции, где "ученик" (student) с меньшим числом шагов семплирования изучает шаг за шагом динамику "учителя" (teacher) с большим числом шагов. Для достижения этой цели мы вводим learnable sampler coefficients — адаптивные коэффициенты, которые динамически оптимизируются для точного алгоритмического синхронизации динамики семплирования ученика и учителя. Более того, мы предлагаем LSD+, который также оптимизирует временную схему (time schedule), распределяя шаги семплирования неравномерно для достижения более эффективного использования ресурсов. #### Результаты Мы провели эксперименты на различных задачах: генерации текстов, изображений и синтетических данных. Наши результаты показывают, что LSD и LSD+ значительно повышают качество семплирования DDMs, достигая результатов, которые превосходят существующие методы. Это достигается признаками, такими как более высокая точность, более высокое качество изображений и текстов, а также существенное сокращение числа шагов семплирования, необходимых для достижения исходного качества. Эти результаты доказывают эффективность LSD в решении проблемы неэффективности семплирования в DDMs. #### Значимость Предложенные методы LSD и LSD+ имеют широкие применения в области генерируемых данных, включая генерацию текста, генерацию изображений и молекулы. Они позволяют достигать высокого качества с меньшим числом шагов, что экономит ресурсы и ускоряет процессы семплирования. Эти достижения могут иметь большое значение для приложений, требующих быстрого и качественного генерирования данных, таких как генеративные модели текста, генерируемая графика и молекулярная сим