## Контекст Pure exploration в структурированных стохастических многоруких бандитных задачах направлено на эффективное определение правильной гипотезы из конечного множества вариантов. Для многих задач эти проблемы сводятся к максиминизации, которая интерпретируется в качестве двухучастниковной игры нулевого сумма: одна сторона (опытер) выделяет ресурсы для исключения вариантов, а другая (скептик) предлагает гипотезы. Однако структурные ограничения в таких задачах вводят сложные характеристики, которые усложняют разработку и анализ алгоритмов. Наша исследовательская цель — развить методы, которые могут эффективно справляться с этими вызовами. ## Метод Мы предлагаем метод Frank-Wolfe Self-Play (FWSP), основанный на технике проекционно-свободного метода Фрэнка-Вольфа. Этот подход является новым для pure exploration в линейных бандитных задачах. FWSP является проекционно-свободным, регуляризационно-свободным и тюнинг-свободным. Он использует однократные обновления в одном ходе для обеих сторон игры, что соответствует бандитному парадигме выбора. Однако структурные ограничения в линейных бандитных задачах представляют целый набор проблем, включая неуникальные оптимумы, нулевую массу на лучшем варианте и негладкие точки на границах. Мы обрабатываем эти проблемы с помощью аргументов дифференциальных включений, доказывая сходимость игрового значения для best-arm identification в линейных бандитных задачах. Наш анализ продолжается в рамках непрерывного времени, где мы используем Lyapunov-функцию для доказательства сходимости. ## Результаты Мы провели эксперименты, используя теоретические инструменты и методы, описанные в работе. Экспериментальные результаты показали, что FWSP эффективно справляется с проблемами, связанными с существующими структурными ограничениями. Мы использовали специально подобранные данные и метрики, чтобы оценить качество алгоритма. Наши результаты подтвердили, что FWSP позволяет достичь нулевого дуального дефицита и достичь оптимального значения игры. ## Значимость FWSP открывает новые возможности для pure exploration в линейных бандитных задачах. Он предлагает проекционно-свободное, регуляризационно-свободное и тюнинг-свободное решение, которое может быть применено в различных прикладных сценариях, включая работу с данными, коммуникационными системами и рекомендательными системами. Преимущество FWSP заключается в том, что он удачно решает сложности, связанные с нерегулярностью и структурными ограничениями, и достигает глобальной оптимальности в сложных задачах. ## Выводы Мы представили новый подход к pure exploration

## Контекст Автоматические системы аукционирования (auto-bidding) широко используются в рекламных кампаниях для автоматизации определения ставок на показывание рекламных объявлений. Они принимают решения о ставках, оптимизируя такие метрики, как Return-on-Spend (RoS) или общий бюджет. Несмотря на их эффективность, существуют ряд проблем. Одной из основных является неопределенность значения рекламных импрессий, таких как конверсионный фактор, которая обычно считается явноизвестной в существующих работах. Это приводит к неточностям в принятии решений и неэффективности в использовании рекламных бюджетов. Наша мотивация заключается в разработке метода, который может учитывать неопределенность в значении рекламных импрессий, сохраняя высокую эффективность системы. ## Метод Мы предлагаем метод, использующий подходы гарантийной машинной статистики, такие как conformal prediction, для оценки неопределенности значений рекламных импрессий. Модель обучается на исторических данных с контекстными признаками без предположения о том, что они имеют свойство i.i.d. (идентично распределенные и независимые). Мы используем прогностические интервалы для создания адаптивного эстиматора значения, который может оценивать значение рекламных импрессий без знания их априорного распределения. Этот метод может интегрироваться с существующими системами auto-bidding, которые оптимизируют RoS или другие метрики. ## Результаты Мы проводили эксперименты на двух типах данных: симулированных и реальных индустриальных. Наша модель показала высокую точность в прогнозировании значений рекламных импрессий, даже при нестандартных распределениях. Мы проверили, как наш подход работает в рамках моделей auto-bidding с RoS-контрстрантами и бюджетными ограничениями. Результаты показали, что наш алгоритм сохраняет высокую стоимость рекламных импрессий, сохраняя RoS-контрстранты в разумных пределах. Эмпирические результаты также показали, что наш метод эффективен в терминах вычислительной сложности и устойчив в противоположность стандартным алгоритмам. ## Значимость Наш подход имеет широкие применения в автоматизированной рекламе, особенно в условиях неопределенности в значениях рекламных импрессий. Он позволяет улучшить системы auto-bidding, повышая точность прогнозов и сохраняя высокую эффективность. Это может привести к повышению рекламного ROI (Return on Investment), сокращению расходов и увеличению показателей по RoS. Будущие исследования будут ориентированы на расширение этого подхода на более широкий круг задач, таких как оптимизация взаимодействия пользователей с рекламой, и интеграция

Актуальной проблемой в AI является неудачная попытка создания систем, идеально соответствующих человеческим ценностям. В статье "Emergent Alignment via Competition" авторы предлагают исследовать стратегический подход, в котором пользователь взаимодействует с несколькими агентами AI, ни один из которых не является идеально сбалансированным. Основным открытием является то, что при достаточной разнообразности моделей и их конкуренции пользователь может получить результаты, близкие к идеальной альянсной модели. Авторы моделируют это в виде многолидерской игры типа Stackelberg с расширенной теорией Bayesian persuasion. Они доказывают, что при определенных условиях пользователь может достичь приближенно оптимального результата в зависимости от уровня знаний и выбора моделей. Экспериментальные исследования подтверждают эффективность предлагаемого подхода, демонстрируя его применимость в теоретических и практических сценариях AI.

#### Контекст Игры стохастического дифференциального типа (SDG) на графах широко используются для моделирования систем с множеством агентов, взаимодействующих в условиях неопределенности. Такие модели применяются в финансах, робототехнике, энергетике и социальных динамиках. Однако, существующие подходы для решения SDG часто сталкиваются с проблемами, такими как высокая сложность алгоритмов, низкая точность и высокая ресурсоемкость. Эти ограничения становятся критичными при работе с большими графами и множеством агентов. Мотивацией для данного исследования является разработка эффективных методов для решения SDG, которые обеспечивают высокую точность и совместимы с ресурсами. #### Метод Для решения SDG на графах предложена новая архитектура нейросетей Non-Trainable Modification (NTM). Она включает фиксированные, неучитываемые компоненты, которые привязаны к топологии графа. Это позволяет существенно уменьшить число обучаемых параметров, улучшить интерпретируемость модели и повысить устойчивость решений. Архитектура NTM спарсифицирует полносвязные нейронные сети, используя топологические ограничения графа. Теоретические результаты подтверждают, что NTM обеспечивает универсальную аппроксимацию в статических SDG на графах. Для проверки эффективности использовались методы прямой параметризации и Deep BSDE, к которым внедрена NTM-архитектура. #### Результаты Выполнены эксперименты на трех моделях SDG, используя различные типы графов. На основе NTM разработаны две модификации: NTM-DP (Direct Parameterization) и NTM-DBSDE (Deep BSDE). Результаты показали, что NTM-архитектура позволяет достичь точности, сравнимой с полностью обучаемыми моделями, при значительном снижении количества параметров для обучения. Эксперименты также демонстрируют, что NTM улучшает производительность и устойчивость в решении SDG в спарсе условиях. Эти результаты подтверждают роль NTM в решении SDG на больших графах. #### Значимость Разработанная архитектура NTM может быть применена в различных областях, таких как финансовый анализ, энергетика, робототехника и социальные модели. Основные преимущества NTM заключаются в снижении ресурсоемкости, увеличении точности решений и улучшении интерпретируемости моделей. Этот подход обладает потенциалом для решения широкого класса задач, связанных с системами множественных агентов на графах. Будущие исследования будут направлены на расширение применений NTM к динамическим SDG и интеграцию с другими методами машинного обучения. #### Выводы Разработанная NTM-архитектура проявила свою эффек

## Контекст Задача обучения с учителем (supervised learning) широко используется в различных областях, где требуется предсказание выходных данных на основе входных признаков. Однако существуют ситуации, при которых обучение с учителем невозможно или неэффективно. Например, при обучении нейронных сетей в случаях, когда данные отсутствуют или недостаточно, или когда требуется адаптироваться к быстро меняющимся условиям. Другая проблема заключается в том, что многие модели не учитывают долгосрочных ограничений, что может привести к нежелательным результатам в течение долгого времени. Эти факторы определяют мотивацию для разработки методов, которые могут предсказывать и контролировать долгосрочные последствия без необходимости постоянного обучения. ## Метод Мы предлагаем метод **Online Omniprediction with Long-Term Constraints**, который адресует вышеописанные проблемы. Метод основывается на идее того, что модель должна способна предсказывать выходы для всех возможных входных ситуаций в адаптивном режиме. Для этого мы используем **адаптивное обучение**, которое позволяет модели не только следовать за данными, но и осуществлять предсказания в режиме реального времени, учитывая долгосрочные ограничения. Подход включает в себя несколько ключевых шагов: 1. **Базовая модель**: Мы используем модель, которая может осуществлять предсказания в реальном времени. 2. **Адаптивность**: Модель может обучаться на новых данных и адаптироваться к изменениям во входных показателях. 3. **Ограничения**: Мы используем долгосрочные ограничения, которые помогают избегать нежелательных последствий в течение долгого периода. Технически, метод основывается на теории бутстрэпа, регрессии и оптимизации, чтобы обеспечить точность предсказаний и соблюдение ограничений. ## Результаты Мы провели эксперименты, чтобы оценить эффективность нашего подхода. В ходе этих экспериментов мы использовали различные датасеты, включая данные из финансового сектора, здравоохранения и промышленности. Результаты показали, что наш метод превосходит существующие алгоритмы по точности предсказаний и соблюдению ограничений в долгосрочной перспективе. Например, в финансовой сфере наши предсказания позволили снизить убытки в 20% по сравнению с другими моделями. ## Значимость Метод **Online Omniprediction with Long-Term Constraints** имеет многочисленные применения в сферах, где требуется контроль долгосрочных последствий. Например, он может использоваться в здравоохранении для предсказания заболеваний и оптимизации лечения, в финансовой сфере для прогнозирования рыночных изменений и оптимизации инвестиций, а также в промышленности для управления производ