## Контекст Область билевел-оптимизации (bilevel optimization) широко используется в машинном обучении, экономике и других науках. Она заключается в решении задач, где одна модель зависит от параметров другой модели. Одна из сложностей в этой области — статистическая природа проблем, где данные генерируются случайным образом. Несмотря на возрастающий интерес, получение эффективных методов решения таких задач остается вызовом, особенно при высокой степени гладкости функций. Целью данного исследования является изучение сложности точного решения таких задач и разработка более эффективных алгоритмов. ## Метод Для решения задачи используется метод F$^2$SA, ранее предложенный авторами для решения неконвексных задач сильно конвексной формы. Этот метод основывается на дифференцировании градиентов, используя повторный цикл обновлений. Авторы предлагают расширить F$^2$SA, добавив к нему аппроксимацию гипер-градиента с помощью $p$-го порядка финтей-разности. Это приводит к новой классу алгоритмов F$^2$SA-$p$, в которых используется $p$th-order finite difference. Такой подход расширяет применимость метода к высоко-гладким задачам, существенно улучшая производительность. ## Результаты Авторы проверили свой подход экспериментально, применяя F$^2$SA-$p$ к различным задачам билевел-оптимизации. Для этих экспериментов были использованы данные, генерируемые случайным образом, и метрики, измеряющие точность решения. Из результатов оказалось, что F$^2$SA-$p$ позволяет достичь более высокой скорости сходимости по сравнению с исходным методом. Так, при $p = 2$ (второй порядок) сложность становится $\tilde{\mathcal{O}}(\epsilon^{-4})$, а при $p = \Omega(\log \epsilon^{-1} / \log \log \epsilon^{-1})$ метод достигает $\Omega(\epsilon^{-4})$, что соответствует нижней границе сложности. ## Значимость Результаты диктуют значительный прогресс в области билевел-оптимизации. Метод F$^2$SA-$p$ позволяет решать задачи быстрее, чем прежние методы, особенно в случаях высокой гладкости. Это открывает новые возможности для применения билевел-оптимизации в сложных моделях, таких как нейронные сети и оптимизационные задачи в экономике. Более высокая скорость сходимости также может снизить время обучения моделей и повысить точность решений. ## Выводы Авторы показали, что их расширенный подход F$^2$SA-$p$ эффективен для решения высоко-гладких стохастических билевел-задач. Они подтвердили, что нижняя граница сложности $\Omega(\epsilon^{-4})$ сохраняется даже в условиях высокой гладкости, что делает их метод почти оптимальным в этой области. Будущие исследования могут сфокусироваться на расширении применения F$^2$SA-$p

## Контекст В последние годы глубокие нейронные сети (DNNs) получили широкое применение в различных областях, от обработки естественного языка до анализа изображений и медицины. Однако независимо от их высокой точности, эти модели часто сталкиваются с проблемой переобучения, которое может привести к плохой общей способности модели. Одним из популярных подходов к решению этой проблемы является Sharpness-Aware Minimization (SAM), который минимизирует не только потери, но и их "зубточимость" — степень неровности потерь вокруг минимума. Однако SAM имеет существенные ограничения в работе в распределенной среде с большими пакетами данных. Такие проблемы включают синхронизацию группы узлов, снижение эффективности оптимизации и потери точности. Наша мотивация заключается в разработке метода, который сохранит преимущества SAM, но будет оптимизирован для работы в распределенной и асинхронной среде. ## Метод LSAM (Landscape-Smoothed SAM) предлагает новую архитектуру оптимизации, которая интегрирует возможности SAM с асинхронным способом распределенного выбора объектов. Ключевым идеям являются: 1. **Smoothness Landscaping**: LSAM использует адициональные шаги, чтобы добавить "гладкость" в ландшафт потерь, чтобы избежать точек внешних максимумов, которые могут вызвать нестабильность. 2. **Asynchronous Sampling**: в отличие от традиционного SAM, где все узлы должны синхронизироваться, LSAM использует асинхронную схему сбора объектов, что позволяет каждому узлу работать независимо, снижая блокировки. 3. **Distributed Batch Optimization**: LSAM расширяет SAM до больших пакетов данных, используя методы асинхронного модифицированного оптимизатора, который увеличивает эффективность в работе с большими данными. Это проектирование обеспечивает не только ускорение обучения, но и улучшение точности в результатах. ## Результаты Мы провели эксперименты на двух общих датасетах (CIFAR-10 и ImageNet) с различными моделями (ResNet, ViT). Эксперименты показали, что LSAM не только ускорил оптимизацию, но и повысил точность в сравнении с даннопараллельным SAM. Ключевые выводы: - LSAM сократил время обучения в распределенной среде больших пакетов, в сравнении с SAM. - Он достиг более высокой точности за счет уменьшения влияния зубточимых мест в потерях. - На датасете ImageNet с ResNet-50, LSAM показал прирост точности в 2.3% в сравнении с SAM. ## Значимость LSAM может применяться в различных областях, где требуется быстрая и точная оптимизация больших моделей глубокого обучения. Особенно он полезен в сценариях с большими данными и высоким числом узлов, где SAM имеет существенные ограничения. Наши результаты показали, что LSAM может улучшить общую

#### Контекст В настоящей работе обсуждается проблема калибровки ликейдж-функций, которая часто не получает достаточного внимания в сравнении с калибровкой пробабилистических прогнозов. Особое внимание уделяется случаям с двумя взаимоисключающими и эксгаустивными гипотезами, где ликейдж-функции представляются в виде лог-ликейдж-рейтиов (LLR). Рассматривается понятие калибровки LLR и его связь с концепцией weight-of-evidence. Этот подход имеет применимость в многих областях, включая биометрию, где требуется точное определение вероятностных прогнозов. Однако существующие работы ограничены бинарным случаем, и цель данной работы состоит в расширении этих результатов на многоклассовые случаи с использованием геометрии симплекса Aitchison. #### Метод Для расширения понятий калибровки и LLR на многоклассовые случаи используется геометрия симплекса Aitchison. Данная геометрия позволяет представлять LLR в векторном виде и расширять понятие Bayes'овского правила на любое число гипотез. Была представлена определение калибровки для ликейдж-функций в многоклассовом случае, а также понятие idempotence, которое позволяет гарантировать корректность и интерпретируемость полученных результатов. Также была предложена модель нелинейного дискриминантного анализа, где дискриминантные компоненты обладают калиброванными ликейдж-функциями, что улучшает интерпретируемость и надежность метода. #### Результаты Работа подтверждает, что расширенные понятия калибровки и idempotence могут быть успешно распространены на многоклассовые случаи с помощью геометрии симплекса Aitchison. Эксперименты проводились на синтетических и реальных данных, подтвердив корректность предложенных подходов. В частности, была показана улучшенная точность и интерпретируемость нелинейного дискриминантного анализа при использовании калиброванных ликейдж-функций. #### Значимость Предложенные подходы имеют широкую применяемость в областях, где требуется точное определение ликейдж-функций и их калибровка, таких как биометрия, классификация и анализ данных. Использование геометрии симплекса Aitchison позволяет эффективно работать с многомерными данными и расширять теоретические положения на многоклассовые случаи. Это делает метод более универсальным и применимым в практических задачах. #### Выводы В ходе работы были расширены понятия калибровки и idempotence на многоклассовые случаи с использованием геометрии симплекса Aitchison. Эти результаты открывают новые возможности для улучшения точности и интерпретируем

## Контекст Изучение подготовки к высокорисковым экзаменам (high-stakes exams) является ключевым аспектом в образовательных системах по всему миру. Несмотря на развитость цифровых ресурсов и систем мониторинга прогресса, существуют значительные проблемы в диагностировании и оценивании учеников. Несогласованность подходов, отсутствие качественного конкретизации уровня подготовки и отсутствие целостных показателей, делают процесс оценки уровня подготовки сложным и непоследовательным. Кроме того, нет комбинаторного подхода, который мог бы объединять различные аспекты подготовки в единую, легко понятную для учащихся и преподавателей метрику. Это способствует необходимости в разработке новых методов, которые могли бы обеспечить более точную оценку уровня подготовки к экзамену. ## Метод Разработанный формальный фреймворк предлагает комплексный подход к оценке подготовки к экзамену, используя шесть основных компонентов: Мастерство (Mastery, M), Охват (Coverage, C), Запоминание (Retention, R), Ход (Pace, P), Неустойчивость (Volatility, V) и Удержание (Endurance, E). Эти компоненты могут быть извлечены из данных, собранных в ходе тренировочных и моки-тестовых занятий. Для каждого компонента разработаны формальные определения, формализмы и формулы, позволяющие строить составной показатель Exam Readiness Index (ERI). Основная задача — создать целостный показатель, который был бы легко интерпретируемым и действительно полезным для всех участников процесса обучения. ## Результаты Для проверки теоретического фреймворка были проведены теоретические демонстрации, включающие доказательства монотонности, Липшицевской стабильности и ограничения драйфта при переразбиениях блюпринтов. Для проверки модели были получены результаты, подтверждающие наличие и единственность оптимальной линейной композиции показателей в рамках положительного конвексивного ограничения. Это означает, что ERI может предоставить интерпретируемый и действительно полезный показатель, который может быть практически использован в образовательных системах. Однако пока эмпирические исследования остаются вне данной работы, но они предполагаются в будущих работах. ## Значимость ERI может применяться в различных сферах, включая домашнее обучение, цифровые платформы и персонализированное обучение. Он предоставляет ценную информацию для учащихся, учителей и родителей, позволяя оценить уровень подготовки к экзамену. Его преимущество заключается в единственности и способности объединить разнообразные показатели в одну метрику, что обеспечивает более точное понимание уровня под

#### Контекст В последние десятилетия технологии высокого производительности позволили создавать цифровые модели биомедицинских систем и пациентов. Эти цифровые двойники, или digital twins, могут описывать ключевые реакционные сети, влияющие на биологические системы, включая ответы на лекарства и возможности лечения. Однако создание этих моделей часто требует трудоемкой интеграции данных, что ограничивает их универсальность и эффективность. Для того чтобы улучшить процесс создания digital twins, требуется разработка автоматизированных методов, которые могут упростить интеллектуальную нагрузку на человека и повысить точность и надежность данных моделей. #### Метод Методология развития digital twins в биологии основывается на нескольких ключевых подходах. Символьная и спарсе регрессия — это основные методы, используемые для выявления структуры биологических систем с помощью временных рядов данных. Данные представляют собой значительные вызовы, включая шум, неполноту, необходимость интеграции предварительных знаний и обработку высокомерности. Особенно успешными оказались алгоритмы спарсе регрессии, особенно те, что используют фреймворки Байеса, так как они умело комбинируют экспериментальные данные с теоретическими моделями. Более того, внедрение глубокого обучения и языковых моделей становится все более актуальным, так как эти технологии могут улучшить интеграцию предварительных знаний и прогнозирование. Несмотря на это, ни один метод не может удовлетворять всем биологическим и методологическим вызовам одновременно. #### Результаты В ходе экспериментов были проанализированы несколько методов автоматического выявления digital twins. Использовались различные типы биологических данных, включая временные ряды, полученные с помощью высокопроизводительных технологий. Обнаружилось, что спарсе регрессия показывает лучшие результаты, особенно когда используется фреймворк Байеса. Эти методы удачно обрабатывают шум и неполноту данных, что важно для биологических исследований. Однако глубокое обучение также демонстрирует перспективу, особенно когда интегрирует значительные объемы предварительных знаний. Тем не менее, необходимо работать над улучшением надежности и последовательности таких подходов. #### Значимость Развитие digital twins в биомедицине открывает новые возможности для лечения персонализированных терапий, раннего диагностирования заболеваний и изучения биологических систем. Эти модели могут помочь в изучении фармакологической активности лекарств, а также в создании стратегий лечения, ориентированных на индивидуального пациента.

## Контекст В последние годы синтетические данные становятся все более популярными в силу их возможности решать проблемы, связанные с конфиденциальностью и предоставлением данных. Однако неочевидным вопросом остается уровень защиты конфиденциальности при выпуске таких данных. Недостаточность действующих фреймворков по оценке рисков конфиденциальности для синтетических данных приводит к необходимости разработки более эффективных методов аудита. Одним из ключевых аспектов является понимание, насколько эти данные могут раскрыть информацию о своих исходных (реальных) источниках. Это вопрос, который не только интересен из-за теоретических размышлений, но и потому, что несоблюдение конфиденциальности может привести к серьезным последствиям, включая утечки конфиденциальных данных. Из-за этого росту рисков, необходимо развивать более точные и эффективные способы оценки конфиденциальности выпускаемых синтетических данных. ## Метод Мы предлагаем Generative Likelihood Ratio Attack (Gen-LRA), новый подход к Membership Inference Attacks (MIAs), который основывается на оценке влияния тестового наблюдения на локальную оценку вероятности в синтетических данных. Наш подход не требует доступа к модели или предположений о ее архитектуре. Вместо этого Gen-LRA анализирует наблюдения с помощью специальной метрики, основанной на локальной оценке вероятности, чтобы выявить, насколько тестовое наблюдение влияет на модель. Это позволяет не только выявить потенциальные проблемы защиты конфиденциальности, но и эффективно оценить уровень риска, связанный с выпуском синтетических данных. ## Результаты Для оценки Gen-LRA, мы провели эксперименты на широком спектре данных, включая категориальные, дискретные и непрерывные данные. Мы проверили Gen-LRA против других подходов к MIAs, таких как геометрические атаки и основные методы локальной оценки вероятности. Наши результаты показывают, что Gen-LRA показывает значительно более высокую точность и эффективность по сравнению с другими методами. Эти результаты подтверждают силу Gen-LRA в качестве инструмента для оценки рисков конфиденциальности в выпуске синтетических данных. ## Значимость Gen-LRA может быть применен в различных областях, где выпуск синтетических данных является ключевым, включая медицину, финансы и образование. Его преимущество в том, что он не требует доступа к модели, что делает его применимым в ситуациях, когда модель недоступна или запрещена к использованию. Этот подход также может помочь в развитии более безопасных и конфиденциальных практик выпуска синтетических

## Контекст ### Область исследования и мотивация Появление высокопроизводительных технологий в биомедицинских исследованиях привело к обширному доступу к широкомасштабным данным, которые обеспечили надежный дизайн цифровых двойников биомедицинских систем и пациентов. Эти цифровые двойники моделируют ключевые реакционные сети, определяющие переносимость или ответ на лекарственные препараты, и оказывают важную поддержку в лекарственном открытии и персонализированных терапиях. Однако, в настоящее время, их развитие все еще опирается на трудоемкую интеграцию данных вручную моделиром, что делает критически важной разработку автоматизированных подходов. ### Значимость Изучение автоматического выявления цифровых двойников в биомедицинских исследованиях имеет перспективу для внедрения во все более широких областях, включая разработку новых лекарств, индивидуализированной медицины и подробное понимание биологических систем. Однако, существующие технологии встречаются с рядом технических вызовов, включая шумные и неполные данные, неопределенность в моделировании и сложности в интеграции предварительных знаний. ## Метод ### Методология и технические решения Методология, рассматриваемая в работе, основывается на автоматической интерпретации цифровых двойников с помощью символического и спарсе регрессии. Символическое моделирование позволяет выражать биологические процессы через латеральные уравнения, в то время как спарсе регрессия оптимизирует веса параметров в предложенной библиотеке реакций. Эти методы адаптируются для работы с шумными и неполными данными, которые характерны для биологических исследований. ### Архитектура Архитектура методологии включает следующие компоненты: - **Интеграция данных**: Сбор и обработка биологических данных с различных источников, включая различные типы биологических сигналов и высокопроизводительные технологии. - **Обработка данных**: Методы для удаления шума, заполнения пропусков и аппроксимации производных переменных. - **Моделирование сети**: Реализация символической и спарсе регрессии для выявления цифровых двойников. - **Оценка результатов**: Измерение точности, валидности и общей универсальности моделированных сетей. ## Результаты ### Эксперименты и Данные Наборы данных включали опыты с биологическими системами, где измерялись динамические переменные при различных условиях. Это включало данные о выражении генов, протеинов, метаболических процессах и других ключевых показателях. ### Резуль

#### Контекст В последние годы нейронные сети стали одним из основных инструментов в области машинного обучения и глубокого обучения. Они применяются в различных сферах, включая обработку естественного языка, анализ изображений, рекомендательные системы и многие другие. Однако с ростом их мощности и применений возникают новые проблемы, одной из которых является **вероятность нарушения моделей**. Нарушение моделей — это процесс, при котором пользователь может вызвать ненамеренное поведение сети. Одним из важных аспектов нарушения является проблема **surjectivity**, то есть возможность модели генерировать любой выход при любом входе. Эта проблема становится критичной в случае генерирующих моделей, где появление вредоносного или нежелательного контента может иметь серьезные последствия. В настоящей работе рассматривается вопрос surjectivity в современных нейронных сетях. #### Метод В данной работе используется методология анализа поведения нейронных сетей с использованием математических моделей и алгоритмов. Авторы фокусируются на изучении **surjectivity** в связи с моделями, использующими наиболее распространенные архитектуры, такие как **pre-layer normalization** и **linear-attention modules**. Алгоритмы используются для исследования свойств нейронных сетей и их направлений, включая **generative frameworks**, такие как GPT-style transformers и diffusion models. Авторы используют математические демонстрации для доказательства того, что многие из этих моделей почти всегда surjective, что означает, что они могут генерировать любой выход. Этот подход позволяет установить связь между свойствами архитектур и их уязвимостью к нарушениям. #### Результаты В ходе исследования авторы доказали, что нейронные сети, использующие **pre-layer normalization** и **linear-attention modules**, почти всегда surjective. Это означает, что в этих сетях можно генерировать любой выход от модели, даже если этот выход был не предусмотрен при обучении. Эти результаты подкрепляются экспериментами на различных данных, включая текстовые и изображения. Особое внимание уделяется таким популярным фреймворкам, как **GPT-style transformers** и **diffusion models**, где показано, что эти модели могут быть использованы для генерирования вредоносных или нежелательных выходов. Эти результаты указывают на возможность **jailbreak vulnerabilities**, которые могут быть использованы для нарушения моделей. #### Значимость Результаты этого исследования имеют значительное значение для развития безопасного применения нейронных сетей. Они показывают, что **surjectivity** является не только теоретическим понятием, но и практическим законом, который затрагивает большинство современных моделей. Эти результаты помогают понять, почему нейронные сети могут быть уязвимыми перед **adversarial attacks** и **jailbreaks**, и что это может имет

#### Контекст Искусственные нейронные сети становятся все более продвинутыми и популярными, но их основной фокус всегда был на максимизации точности прогнозов. Однако в некоторых ситуациях точность не является единственным или даже главным критерием. Например, в экспериментах с детектированием занятости комнаты можно использовать уровень CO₂ как признак для достижения близкой к идеальной точности. Однако такой подход несёт в себе ничего нового, так как логически очевидно, что заполненная комната приводит к увеличению уровня CO₂. Вместо этого можно использовать признак, например, влажность воздуха, который может показаться менее очевидным, но в то же время интересным и неочевидным. Цель данной работы — разработать модели, которые не только эффективны, но и новые и интересные. #### Метод Мы предлагаем EUREKA — простой фреймворк, который позволяет выбирать признаки, основываясь на их интересности. Метод работает следующим образом: сначала большинство признаков отбрасываются на этапе предварительной фильтрации, затем оставшиеся признаки оцениваются с помощью технологий генеративных текстовых моделей. Для каждого признака вычисляется "интересность" — меру того, насколько признак неочевиден и полезен для решения задачи. Эта оценка производится с помощью текстовых моделей, которые анализируют тексты, описывающие признаки. Наконец, уже только интересные признаки используются для строительства простых интерпретируемых моделей. #### Результаты Мы проверили EUREKA на нескольких стандартных наборах данных. Например, в Occupancy Detection dataset, модель выбрала признак влажности в воздухе вместо уровня CO₂, что привело к уменьшению точности, но увеличилось интересность решения. На другом наборе данных Twin Papers dataset, EUREKA выявила правило, что будущие цитированные работы чаще всего имеют двоеточие в названии. Эти признаки, несмотря на то что не являются точными, все же демонстрируют свою полезность в сфере извлечения новых знаний. #### Значимость Метод EUREKA может применяться в ситуациях, где важна не только точность, но и интерпретируемость прогнозов. Например, в области диагностики заболеваний, где модели должны не только давать правильный ответ, но и объяснять свой выбор. Также, EUREKA может применяться в области бизнес-анализа, где необходимо выделять новые инсайты и нестандартные связи. Этот подход может сделать модели более интересными для пользователей и повысить их ценность в сфере научного и практического применения. #### Выводы Мы представили EUREKA — метод, который позволяет создавать интересные и новые классификаторы, которые могут привлечь внимание благодаря их необычны

## Контекст Область исследования, связанная с открытием уравнений из данных, лежит в основе физики и многих других научных областей, таких как математическая экология и эпидемиология. Этот процесс является ключевым для понимания и моделирования сложных динамических систем. Однако традиционные методы часто ограничиваются ручным поиском или ограниченными формами уравнений. В этой статье рассматривается автоматический подход, основанный на методах символьной регрессии, который автоматизирует поиск уравнений, описывающих данные. Несмотря на то, что существуют различные методы символьной регрессии, их сравнение, особенно в контексте динамических систем, является важной задачей. Целью данной работы является оценка и сравнение пяти методов символьной регрессии в отношении их точности и возможности восстановить уравнения из динамических процессов. ## Метод Для сравнения методов символьной регрессии использовались пять различных алгоритмов, включая PySR, Eureqa, PySRR, и другие. Для оценки их потенциала восстановления уравнений из динамических процессов, были использованы данные от девяти различных систем, включая сингулярные точки, хаотические динамики и модели эпидемий. Алгоритмы применялись к данным, генерируемым этими системами, с целью восстановить аналитические уравнения, описывающие их поведение. Использовались различные метрики для оценки точности, включая погрешность, вычислительные затраты и удобочитаемость полученных уравнений. Наиболее эффективным оказался алгоритм PySR, который показал выдающийся результат по всем метрикам. ## Результаты Результаты экспериментов показали, что PySR превосходит другие методы по всем показателям. Алгоритм оказался высокоточным в восстановлении уравнений, с очень маленькой погрешностью в сравнении с аналитическими формами. Были достигнуты замечательные результаты восстановления уравнений, в том числе для систем с хаотическим поведением и сложными моделями эпидемий. Была также отмечена высокая скорость вычислений и удобочитаемость полученных уравнений. Эти результаты демонстрируют высокую эффективность PySR в выявлении сложных динамических зависимостей в данных. ## Значимость Полученные результаты имеют большое значение для областей, где автоматическое выявление уравнений играет ключевую роль, таких как физика, биология, и другие науки. Алгоритм PySR может быть применен для моделирования сложных динамических систем в экологии, эпидемиологии и других дисциплинах. Особый потенциал PySR заключается в том, что он может быть использован для восстановления уравнений в реа