#### Контекст Область blackbox optimization (BBO) — это набор методов, применяемых для решения задач оптимизации в ситуациях, когда функция целевого функционала недоступна в виде аналитического выражения. Эти задачи часто возникают в приложениях инженерии, анализе данных и машинном обучении. Одним из популярных подходов к решению BBO является Bayesian Optimization (BO), который использует Gaussian Process (GP) модель и acquisition function для уточнения следующих точек оптимизации. Однако BO имеет серьезные ограничения в высоком измерении и при большом количестве оценок функции, что делает его медленным и вычислительно трудоемким. Другой подход к решению BBO заключается в использовании neural networks (NNs). ННы могут хорошо справляться с высоким измерением и позволяют более эффективно масштабироваться. Однако одной из проблем применения НН к BO является необходимость оценивать неуверенность в предсказаниях НН, что может быть дорогостоящим и сложным в высоких измерениях. Данная работа фокусируется на разработке метода, который решает эти проблемы без необходимости оценивать неуверенность в предсказаниях НН. #### Метод Предлагаемый метод, называемый Scalable Neural Network-based Blackbox Optimization (SNBO), основывается на применении NNs для решения BBO, но не затрудняется вычислительной сложностью оценки неуверенности. SNBO использует отдельные критерии для exploration и exploitation на каждом шаге оптимизации. Эти критерии позволяют эффективно исследовать новые области поиска и продолжать уточнять решение в уже изученных областях. Для управления размером sampling region, SNBO применяет адаптивный подход, который позволяет ограничивать область поиска при необходимости. Этот подход позволяет минимизировать необходимое количество оценок функции для достижения хорошего решения. SNBO использует NNs для моделирования функции целевого функционала и для точной оценки точек оптимизации, что делает его более эффективным по сравнению с BO. #### Результаты Исследования проводились на многочисленных задачах BBO, состоящих из пространств из 10 до 102 измерений. На каждой задаче SNBO сравнивался с четырьмя современными бейзлайн-методами: EI (Expected Improvement), PI (Probability of Improvement), GP-UCB (Gaussian Process Upper Confidence Bound) и Random Search. Результаты показали, что SNBO приводит к значительному улучшению в качестве решения (function values) по сравнению с бейзлайнами. В среднем, SNBO получает лучшие результаты с точностью 40-60% по сравнению с лучшим из бейзлайнов. Более того, SNBO потребовал 40-60% меньше функциональных оценок для достижения лучшего решения. Это привело к серьезному снижению времени работы, которое составляло в разы меньше, чем у бейзлайнов. Эти результаты подтверждают сильное преимущество SNBO в скорости и эффективности в высоких измерениях. #### Значимо

## Контекст Многорукие бандиты (multi-armed bandits, MAB) являются основными инструментами для последовательного подбора решений в условиях неопределенности. Они находят применение в таких областях, как клинические испытания и персонализация решений. Однако в социально значимых сценариях, таких как личностная медицина или распределение ресурсов в социальных сетях, важны две ключевые стороны: приватность пользовательских данных и справедливость в выборе решений. До этого момента, ни одна из этих задач не была решена в единой модели. Традиционные алгоритмы приватности оптимизируют среднюю потерю (average regret), тогда как справедливость оценивается с помощью меры Нэша (Nash regret), которая лучше подходит для измерения неравенства в значениях пользователей. Нет алгоритма, который удовлетворял бы обоим этим критериям. Наша модель DP-NCB предлагает решение этой проблемы. ## Метод Мы предлагаем DP-NCB (Differentially Private Nash Confidence Bound) — новую архитектуру, которая гармонично объединяет приватность и справедливость в рамках многоруких бандитов. Алгоритм основывается на концепции Nash Confidence Bound (NCB), которая учитывает не только статистическую оценку для каждого бандита, но и взаимосвязь между ними. Для достижения приватности мы используем механизм Дифференциальной Приватности (Differential Privacy, DP), который защищает от вытекания индивидуальных данных. Метод работает как в локальной, так и в глобальной модели приватности, что делает его универсальным. Он не требует предварительного знания общего числа итераций, что делает его "anytime". ## Результаты Мы проводим эксперименты на синтетических данных, сравнивая DP-NCB с современными алгоритмами, оптимизирующими либо среднюю потерю (average regret), либо Nash regret. Результаты показывают, что DP-NCB выдает значительно меньшую Nash regret, чем существующие алгоритмы, при этом сохраняя приемлемую среднюю потерю. Мы также проверяем его поведение в задачах с разным числом бандитов и разным уровнем неопределенности. Доказательство теоретических формул подтверждает, что DP-NCB достигает оптимальных результатов в пределах логарифмических коэффициентов. ## Значимость DP-NCB показывает, что можно достичь целей справедливости и приватности одновременно, что отсутствовало в предыдущих работах. Этот алгоритм может применяться в сценариях, где требуется принятие решений в условиях неопределенности, но одновременно требуется защита данных и справедливость во взаимодействии с пользователями. Например, это может быть использовано в клинических испытаниях, рекламе или мобильных приложениях. Он устанавливает новую планку для дальнейших исследований в области приватных и с

## Контекст Модели глубокого обучения, основанные на нейронных сетях с активационной функцией ReLU (Rectified Linear Unit), широко распространены в задачах классификации, регрессии и обработки изображений. Однако, точкой желания является получение более подробного понимания функциональных возможностей таких сетей, а также изучение связей между их архитектурой и поведением. Несмотря на их эффективность в практических задачах, говорить о структуре и ограничениях, которые определяют выходные данные ReLU-сетей, до сих пор остается неполным. В этой работе рассматривается связь между архитектурой ReLU-сети и выходом, а также описывается метод для построения многообразий, характеризующих вычисления таких сетей. ## Метод Авторы предлагают подход, основанный на анализе мономической структуры выходных данных ReLU-сетей, в том числе в зависимости от входных значений и параметров сетей. Они вводят многообразия, характеризующие эти функции, и исследуют свойства этих многообразий, в том числе ранг выхода в каждой сегментации входа. Для этого применяются методы алгебры и геометрии, что позволяет вывести полиномиальные уравнения, описывающие представимые выходы сетей. Эта аналитическая модель дает возможность понять, какие типы функций могут быть вычислены сетью, и какие ограничения размерности влияют на это. ## Результаты Исследователи проводят эксперименты с различными архитектурами ReLU-сетей, в том числе сетями с разным количеством слоёв и нейронов. Они используют широкий набор данных, включая синтетические и реальные, для проверки предложенного подхода. Результаты показывают, что точность описания выходных функций ReLU-сетей довольно высока, а полученные многообразия позволяют лучше понять структуру и ограничения, встречающиеся в нейронных сетях. Это дает возможность не только улучшить понимание ReLU-сетей, но и повысить эффективность их обучения и применения в практических задачах. ## Значимость Результаты этой работы имеют большую значимость в нескольких областях. Во-первых, они помогают понять, как работают ReLU-сети, что важно для их оптимизации и улучшения. Во-вторых, можно использовать эти полученные ограничения для построения более эффективных алгоритмов обучения, в том числе для решения задач с невидимым решением. И наконец, этот подход может быть применен для интерпретации выходных данных сети, что важно для объяснения решений, которые она принимает, и для улучшения надежности в сложных приложениях. ## Выводы В целом, работа предлагает новый инструментальный подход для изучения ReLU-сетей, позволяя лучше понимать их структуру и ограничения.

Набор конкурирующих машинно обучаемых алгоритмов может быть оценен по результатам на наборе данных. Цель — определить, какой алгоритм будет скорее всего дать наилучший результат на будущих неизвестных данных. Обычно выбирается тот алгоритм, который показал лучшую результативность на текущем наборе. Однако в некоторых случаях разница в показателях между алгоритмами мала, и некоторые могут быть включены в рассмотрение. Этот вопрос сформулирован как задача выбора подмножества для многочленных распределений. Задача: найти минимальное подмножество символов, включающее наиболее частотный символ в общей популяции с достаточно высоким уровнем уверенности. Работа предлагает новую модель для решения этой задачи. Она включает асимптотические и локальные схемы, превышающие существующие методы по точности и эффективности. Также доказаны соответствующие нижние оценки, подтверждающие выгодность предложенных подходов.

В работе предлагается повышение точности моделирования дискретных дисперсных сигналов, таких как спайк-трэйны нейронов, через расширение фреймворка вариационных автоэнкодеров (VAE) с использованием неотрицательного биномиального распределения. Традиционные VAE, основанные на нормальном или поровом распределении, не могут логически описывать нейронную дисперсию, которая часто превышает среднее значение. Разработанный NegBio-VAE расширяет VAE, используя неотрицательное биномиальное распределение, что позволяет контролировать дисперсию и лучше адаптироваться к данным. Особенностью модели является интеграция двух схем оптимизации ELBO и двух стратегий репараметризации, призванных обеспечить устойчивость и эффективность обучения. Эмпирические результаты показывают, что NegBio-VAE превосходит Poisson-VAE при моделировании внешнего неоднородности, улучшая реконструкцию и общую точность. Это демонстрирует важность учета неоднородности в моделях нейронных сигналов.