## Контекст Изучение Preference-based Pure Exploration (PrePEx) связано с задачами оптимального выбора в мультиобъектном бандите, где наблюдаемые векторы награды интерпретируются через преференциальный конус $\mathcal{C}$. Наиболее характерными задачами являются нахождение множества Парето-оптимальных решений с заданной уверенностью и поиск лидирующих вариантов. Несмотря на значительные усилия в области, существуют проблемы с вычислительной эффективностью и оптимальностью алгоритмов, особенно при работе с различными преференциальными конусами. Это затрудняет применение PrePEx в реальных задачах, где требуется высокая точность и скорость работы. ## Метод Мы предлагаем FraPPE, алгоритм, который эффективно решает задачу минимизации и максимизации в рамках нижней границы сложности PrePEx. Алгоритм основывается на трех структурных свойствах нижней границы, которые позволяют её трактовать с помощью линейных оптимизационных проблем. Для оптимизации максимизационной задачи мы применяем метод Франка-Вольфа, который позволяет эффективно ускорить вычисления. Эти техники позволяют FraPPE решать maxmin-задачу в $\mathcal{O}(KL^{2})$ времени, что значительно сокращает сложность по сравнению с предыдущими методами. ## Результаты На различных синтетических и реальных данных FraPPE продемонстрировал самые низкие стоимости разделения (sample complexity) среди существующих методов. Алгоритм показал способность идентифицировать Парето-оптимальные решения с заданной достоверностью в случаях, где другие алгоритмы не смогли этого достичь. Это демонстрирует высокую эффективность и надежность FraPPE. ## Значимость Предложенный FraPPE может применяться в отраслях, где требуется быстрая и точная оптимизация в многомерных пространствах, например, в интернет-рекламе, в сегментации клиентов, в медицинской диагностике. Он обеспечивает высокую точность, эффективность и универсальность, что делает его значимым в сравнении с предыдущими алгоритмами. Будущие исследования будут сконцентрированы на расширении FraPPE для более сложных моделей и приложениях, а также на уточнении свойств, связанных с его устойчивостью и скоростью. ## Выводы FraPPE успешно решает задачу PrePEx, достигая оптимальной сложности работы и эффективности. Это демонстрирует его значимость в приложениях, где требуется быстрая и точная оптимизация. Будущие работы будут сфокусированы на расширении метода и его применении в новых, более сложных сценариях.

#### Контекст Ласточкиной проблемы, связанной с оптимизацией очередности выполнения задач в сервисных системах, приобрела новую роль в контексте больших языковых моделей (LLM). Эти модели широко применяются в различных областях, но их выполнение требует значительных вычислительных и энергетических ресурсов. Особенно критично эффективное управление ресурсами при выполнении последовательных запросов, которые включают неопределенность в длине выходных данных. Эта неопределенность может существенно сказываться на производительности и энергоэффективности. Цель данного исследования — разработать методы, позволяющие снизить задержки и энергопотребление в LLM-инференсе, используя прогнозирование длины выходных данных. #### Метод Для решения проблемы неопределенности в длине выходных данных LLM используется гибкий подход, основанный на машинном обучении. Модели предлагаются прогнозировать интервалы длины выходных данных для каждого запроса, точность которых может отличаться. Разработаны два алгоритма: 1. **Алгоритм $\mathcal{A}_{\max}$**: основывается на использовании верхней границы прогнозируемого интервала длины для следующего запроса. Это позволяет избежать переполнения памяти, но может привести к избыточной задержке и энергопотреблению. 2. **Алгоритм $\mathcal{A}_{\min}$**: адаптивный алгоритм, который использует нижнюю границу прогнозируемого интервала для начальной оценки длины выходных данных. Затем он динамически апгрейдится в процессе выполнения запроса, учитывая получаемые данные. Эти методы стремятся минимизировать задержки и энергоэффективность, при этом учитывая неопределенность в прогнозировании. #### Результаты Исследование включает в себя симуляции для оценки производительности алгоритмов в различных условиях неопределенности. Найдено, что $\mathcal{A}_{\min}$ показывает наилучшие результаты в сравнении с $\mathcal{A}_{\max}$, особенно при снижении точности прогнозов. Данный алгоритм достигает конкурентного отношения, приближенного к логарифмическому масштабу, что делает его эффективным и надежным в практических ситуациях. Также показано, что $\mathcal{A}_{\min}$ значительно эффективнее по сравнению с другими методами, особенно при ситуациях с низкой точностью прогнозов. #### Значимость Разработанные методы могут быть применены в системах, требующих эффективного управления ресурсами, таких как облачные сервисы, системы реального времени и автоматизированные системы. Особым преимуществом является уменьшение задержек и потребления энергии, что может привлечь интерес у разработчиков и операторов таких систем. Будущие исследова

## Контекст Работа рассматривает задачу оптимизации задач классификации и регрессии, где принятие решений происходит в рамках квантованных или дискретных пространств. Такие задачи характеризуются высокой сложностью из-за ограниченности пространства решений и нетривиальной структуры оптимальных решений. Одним из подходов, позволяющим упростить решение таких задач, является использование **piecewise-affine regularization** (PAR), который предлагает моделировать квантование через линейные и аффинные преобразования. Авторы фокусируются на супервайзед-learning и исследуют теоретические основы PAR с точки зрения оптимизации и статистики. ## Метод Прототип метода PAR основывается на введении дополнительных регуляризационных термсов в функционал потерь, которые заставляют решение принимать дискретные значения. Авторы разрабатывают методы решения этого класса задач, включая проксимальные методы, адаптированные для PAR, и метод Альтернативных Направлений Множителей. Эти методы позволяют эффективно решать задачи, где входные данные и параметры модели имеют значительные размеры. ## Результаты Авторы проверяют свою теорию на задачах регрессии и классификации, в том числе в среде глубоких нейронных сетей. Изучая теоретические свойства решений, они доказывают, что надпараметрические модели, обученные с использованием PAR, обладают высоким уровнем дискретизации, что позволяет имитировать классические квантованные регуляризации (например, $\ell_1$-регуляризация и нелинейные модели). Эксперименты показывают высокую эффективность и скорость сходимости прототипа регуляризации в сравнении с другими методами. ## Значимость Предложенный подход имеет широкое применение в обучении моделей, где требуется уменьшить размер параметров без существенного потери точности. Например, в случае обучения нейронных сетей, PAR позволяет сократить размер модели, уменьшить потребление памяти и ускорить расчеты. Кроме того, PAR может использоваться в задачах, где требуется обеспечить высокую скорость работы модели в реальном времени. ## Выводы Работа устанавливает теоретические гарантии и практическую эффективность PAR в решении квантованных задач. Она демонстрирует перспективу использования PAR в супервайзед-learning и связанных областях, таких как глубокое обучение и машинное обучение с ограниченными ресурсами. Будущие исследования могут фокусироваться на расширении теории к более сложным моделям и задачам, а также на экспериментальных исследованиях в реальных сценариях применения.

#### Контекст Исследование сосредоточено на решении задач оптимизации в рамках нейронных сетей с жесткими ограничениями. Существующие подходы часто сталкиваются с проблемами точности, эффективности и надежности в обработке таких задач. Это приводит к необходимости применения специальных методов и сложных алгоритмов, что увеличивает время вычислений и уменьшает удобство использования. Мотивация заключается в создании простого, эффективного и универсального метода, который мог бы быстро решать такие задачи с высоким качеством решения и низким временем работы. #### Метод Предложенный подход, $\Pi$net, основывается на использовании ортогональных проекционных слоев для обеспечения точности и надежности проекций. Метод использует операторное разделение для реализации проекционных операций в прямом проходе и имплицитную функцию для вычисления производных в обратном проходе. Эта архитектура позволяет обеспечить высокую скорость работы и устойчивость к ошибкам при решении задач оптимизации с жесткими ограничениями. #### Результаты Проведенные эксперименты показывают, что $\Pi$net превосходит состояние техники в нескольких аспектах. Он работает быстрее традиционных методов при решении отдельных задач и значительно быстрее при обработке батчей задач. Также $\Pi$net показал высокую точность решений и устойчивость к настройке гиперпараметров. Такой подход демонстрирует значительные выгоды в скорости и качестве решений, особенно при работе с параметрическими задачами оптимизации. #### Значимость Применение $\Pi$net может быть интересно для многих областей, где требуется решение задач с жесткими ограничениями, например, в мобильном машинном обучении, автономных системах, а также в других областях, где требуется быстрое и точное решение оптимизационных задач. Его преимущества включают высокую скорость решения, эффективность и устойчивость к настройке. #### Выводы В результате исследований был разработан $\Pi$net - мощный метод для решения задач оптимизации с жесткими ограничениями в нейронных сетях. Он демонстрирует высокую эффективность, точность и устойчивость в решении различных задач. Будущие исследования будут сфокусированы на расширении возможностей $\Pi$net для других типов нейронных сетей и задач, а также на повышении его универсальности и адаптивности.