#### Контекст Аномалийное детектирование (AD) широко применяется в различных областях, включая медицину, финансы, ИТ-безопасность и промышленность. Однако применение AD в целевых доменах с ограниченными данными часто приводит к понижению точности и надежности результатов. Для улучшения производительности AD в таких ситуациях вводится подход доменной адаптации (DA), который предполагает передачу знаний из домена-источника, где данных достаточно, в целевой домен. Тем не менее, этот процесс может привести к новым неопределенностям, снижающим доверие к результатам AD. Цель нашей работы — разработать метод, обеспечивающий статистическую значимость результатов AD после использования DA. #### Метод Мы предлагаем STAND-DA — фреймворк, который объединяет представление объектов (Representation Learning) и доменную адаптацию (Domain Adaptation) в рамках Selective Inference (SI) фреймворка. Этот подход позволяет вычислить статистически достоверные $p$-значения для выявленных аномалий и управлять фальсидыми срабатываниями порогом $\alpha$, например, 0.05. Чтобы решить проблемы скорости и масштабируемости при работе с глубокими нейронными сетями, мы разработали GPU-акселерацию для SI, что позволяет эффективно использовать его в современных моделях. #### Результаты Мы провести эксперименты с синтетическими и реальными данными, сопоставив STAND-DA с другими подходами. Результаты показали, что наш метод обеспечивает высокую точность и достоверность в определении аномалий, даже при небольших объемах данных в целевом домене. Также были сравнены скорости выполнения STAND-DA и других подходов, подтверждая значительное увеличение производительности благодаря GPU-акселерации. #### Значимость STAND-DA может быть применен в таких областях, как безопасность систем, финансовый мониторинг, диагностика и техническое обслуживание. Он обеспечивает улучшенную надежность и точность результатов AD в условиях ограниченных данных, предоставляя статистически значимые выводы. Благодаря GPU-акселерации, STAND-DA эффективно работает с большими моделями и данными, что делает его применимым в многочисленных практических задачах. #### Выводы STAND-DA является первым подходом, объединяющим SI, AD и DA, обеспечивающий статистическую значимость результатов. В будущем планируется расширить функционал STAND-DA для поддержки других архитектур нейронных сетей и приложений. Также будет проводиться дополнительный анализ эффективности на более крупных реальных данных.

#### Контекст Резервный вычислительный компьютер (Reservoir Computing, RC) является мощным инструментом для обработки и моделирования временных рядов. Он основывается на нелинейных вычислительных структурах, которые могут обнаруживать сложные структуры в данных. Однако существуют теоретические проблемы с объяснением успеха RC, особенно в случае стохастических моделей. Например, успех RC часто связан с контрактивностью систем, но многие успешные модели не соответствуют этому условию. Необходимо развить теорию, которая объяснит причины этого успеха и расширила область применения RC. #### Метод Мы исследуем системы состояний (state-space systems) в контексте RC. Наша модель включает в себя детерминированные и стохастические варианты. Для определения свойств стохастических систем мы используем специальное распределение на пространстве вероятностей, которое позволяет расширить теорию стохастических систем. Мы рассматриваем свойство "затухающей памяти" (fading memory) и свойство "эхо-решения" (echo state property), которые являются ключевыми для RC. #### Результаты Мы доказали, что свойство "затухающей памяти" и свойство "эхо-решения" достигаются в обоих детерминированных и стохастических системах, даже в случае отсутствия контрактивности. Это позволяет объяснить причины успеха RC, даже при отсутствии жестких условий. Мы также развили новую теорию для стохастических систем, основываясь на динамике притягивания в пространстве распределений. Эта теория позволяет понять, как системы нейронных сетей обрабатывают временные ряды. #### Значимость Результаты этой работы имеют широкое применение в области моделирования временных рядов, анализа данных и системных моделей. Мы показали, что RC может быть эффективно применен в областях, где требуется обработка данных с зависимостью от времени, например, в финансовой аналитике, биологии и машинном обучении. Наши результаты также открывают новые возможности для развития RC в области стохастического моделирования. #### Выводы Мы расширили теоретические основы RC, объяснив, почему он работает даже в условиях, когда требуемые условия не выполнены. Наши результаты показывают, что RC может быть использован для решения широкого спектра задач в области моделирования временных рядов. На будущее, мы планируем расширить применение RC в стохастических системах и развить его в отношении новых теоретических и практических задач.

## Контекст Теория стохастических алгоритмов играет ключевую роль в многих областях, включая теорию управления, статистику, машинное обучение и искусственный интеллект. Одной из важных задач является изучение градиентных методов стохастической аппроксимации, которые используются для решения задач оптимизации в ситуациях, где доступ к функции оптимизации ограничен. Одним из таких методов является двухвариационный градиентный метод (Two-Timescale Stochastic Approximation, TTSA), который применяется в ситуациях, когда различные компоненты системы обновляются с разными скоростями. Несмотря на широкое применение TTSA, существуют недостатки в понимании ограничений и ошибок в нормальной аппроксимации, особенно в сложных сценариях с нелинейными моделями и мартингальным шумом. Наша цель — разработать более точные ограничения для нормальной аппроксимации TTSA в различных режимах работы. ## Метод Мы используем метод градиентной стохастической аппроксимации с двумя временными скейлами. Для того чтобы изучить нормальную аппроксимацию, мы разрабатываем теоретические ограничения для двух режимов работы: линейной аппроксимации последнего итерационного шага и Polyak-Ruppert averaging. Для этого мы применяем методы теории вероятности, в частности, теорию Липшица и мартингальные оценки. Основная техническая сложность заключается в том, что нужно учесть взаимодействие между быстрым и медленным временными скейлами. Для этого мы используем методы центральной предельной теоремы и методы скользящих средних для получения точных оценок. ## Результаты Мы демонстрируем, что нормальная аппроксимация TTSA работает лучше в режиме с большим разграничением между скоростями временных скейлов. Тем не менее, в режиме Polyak-Ruppert averaging нормальная аппроксимация хуже работает, когда разрыв между скоростями становится очень большим. Мы также получаем высокопорядковые моменты для ошибки алгоритма, которые могут быть полезны для дальнейшего изучения системы. Наши результаты основываются на теоретических расчетах, а также на экспериментальных исследованиях, в которых мы проверяли эффективность нашей теории на реальных данных. ## Значимость Наши работы имеют широкое применение в многих областях, включая машинное обучение, оптимизацию и искусственный интеллект. Мы показываем, что нормальная аппроксимация TTSA может быть эффективно применена в ситуациях, где необходимо оценить распределение решений, но при этом могут быть затруднения в получении точных аппроксимаций. Изучение данной темы может привести к новым возможностям в развитии сто

## Контекст Исследование альтернативных методов тестирования двух выборок является ключевым вопросом в теории вероятности и статистике. Существующие подходы часто ограничиваются гипотезами о распределении или требуют выбора априорных параметров. Это приводит к ограниченной общности и способности распознавать сильно различающиеся выборки. Необходимость развития более гибких и непараметрических подходов возникает в статистических приложениях, где присутствуют слабые сигналы и высокие размерности. Наша мотивация заключается в развитии метода, который объединяет классические подходы с новыми идеями о классификации гипотез при помощи ядерных техник. ## Метод Мы предлагаем новый ядерный подход к двухвыборочному тестированию, основанный на подходе, использующем обобщенные ядерные приближения для вероятностных мер. Ключевой идеей является использование связи между ядерными обобщениями матриц ковариаций и двумерных гауссовых пространств. На основе этой связи мы формулируем тестирующую статистику, основанную на относительном энтропии между гауссовыми приближениями. Это позволяет тестировать не только равенство распределений, но и их неравенство. Чтобы сделать метод применимым в практических ситуациях, мы предлагаем регуляризованную версию, которая балансируется с помощью пермутаций. Это обеспечивает корректную оценку в условиях ограниченных данных. ## Результаты Мы проверили наш подход на синтетических и реальных данных. Наблюдается значительное улучшение в сравнении с текущими стандартными методами, особенно в ситуациях, когда данные имеют высокую размерность и слабые сигналы. Эксперименты показали, что наш подход обнаруживает различия выборок эффективнее большинства современных алгоритмов. Наши результаты показывают, что ядерная техника дает более точное определение различий между выборками и может эффективно применяться в сложных статистических задачах. ## Значимость Предлагаемый подход может быть применен в различных областях, включая генетическое исследование, искусственный интеллект и моделирование финансовых процессов. Он объединяет многие преимущества ранее разработанных методов, в то же время усиливает свою силу в обнаружении неравенств между распределениями выборок. Наш подход имеет потенциал для улучшения точности и доступности методов в поиске различий в выборках, что может существенно повлиять на развитие статистических приложений в науке и технологиях. ## Выводы Мы сформулировали новый тест для двух выборок на основе ядерных приближений. Наш под

## Контекст Область исследования — survival analysis (анализ выживаемости) — широко применяется в медицине, биологии, финансах и других сферах для оценки временных интервалов до события. Однако многие методы survival analysis требуют специальных алгоритмов, которые могут быть сложными в адаптации и неэффективны при больших объемах данных. Более простые методы, такие как регрессия и классификация, имеют более широкое применение и лучшую инфраструктуру в стандартных машинных и глубоких обучаемых системах. Reduction techniques (техники сокращения задач) предлагают преобразовать задачи survival analysis в задачи регрессии или классификации, сохраняя при этом специфику survival data. Целью данной работы является изучение этих техник, их преимуществ и ограничений, а также предоставление инструментов для их использования в стандартных машинных обучаемых системах. ## Метод Техники сокращения задач в survival analysis предполагают преобразование исходной задачи, связанной с оценкой временных интервалов, в задачу оценки простых ответов (как в регрессии или классификации). Наиболее распространенными техниками являются: 1. **Survival feature extraction (Экстракция признаков выживаемости):** Извлечение признаков, таких как время до события или оценки риска, для использования в обычных моделях машинного обучения. 2. **Survival margin classification (Классификация по пределу выживаемости):** Обучение модели для классификации на основе разницы между временем до и после события. 3. **Survival ranking (Ранжирование выживаемости):** Оценка относительного риска события для каждого наблюдения и использование этого в регрессионной модели. 4. **Survival stratification (Стратификация выживаемости):** Разделение выборки на страты по риску, затем применение стандартных моделей к каждому страте. Разработанная архитектура включает инструменты для применения этих техник в стандартных библиотеках, таких как Scikit-learn и PyTorch, что обеспечивает интеграцию в уже существующие рабочие процессы. ## Результаты Эксперименты проводились на стандартных survival analysis датасетах, таких как Wisconsin Diagnostic Breast Cancer (WDBC) и METABRIC. Для каждой техники сокращения задачи выполнено несколько экспериментов с различными моделями (например, Random Forest, XGBoost, Neural Networks). Результаты показали, что survival feature extraction и survival ranking дают наилучшие результаты в среднем по всем моделям, хотя survival margin classification демонстрирует высокую точность в задачах с ясно выделенными границами. Также проведенный benchmark анализ показал, что некоторые техники могут превосходить специализированные survival analysis модели, такие как Cox proportional hazards и Kaplan-Meier, в задачах с большими объемами данных. ## Значимость Reduction techniques имеют широкие применения в области machine learning и survival analysis. Они позволяют использовать стандартные и простые в использовании модели машинного обучения для за

## Контекст Интерес к оптимизации параметров зависимых матриц возникает в различных областях математики и прикладных наук, таких как физика, химия, биология, а также в области теории информации и машинного обучения. Одна из важных задач в этой области — оптимизация трасс (trace) зависимых матриц, которая играет ключевую роль в различных задачах восстановления данных, оптимизации, информатики и других. Одна из ключевых проблем заключается в том, что матрицы могут быть зависимы от параметров, что усложняет процесс оптимизации. Данная работа ориентирована на развитие универсальных методов для оптимизации трасс зависимых матриц, учитывающих их параметры, и на оценку точности этих методов. ## Метод Работа предлагает метод оптимизации трасс зависимых матриц, основанный на монте-карло выводе и статистической теории обучения. Основная идея заключается в использовании стохастического приближения для оценки трасс матрицы в зависимости от параметра $\boldsymbol\theta$, который лежит в компактном пространстве $\Theta$. Метод использует специально сконструированные модели стохастического вывода, которые позволяют оценивать трасс матрицы с заданной точностью. Также в рамках работы разработаны формализмы для оценки бэквенд-ошибки, которая призвана гарантировать точность решения. Разработанная методология является универсальной и применима к различным классам зависимых матриц. ## Результаты Для оценки эффективности метода проведены эксперименты на различных классах зависимых матриц. Использовались различные данные, включая синтетические и реальные, для проверки эффективности метода. Результаты показали, что метод позволяет оптимизировать трасс матриц с меньшей точностью, но с меньшим затратом ресурсов, в сравнении с другими подходами. Особенно высокая эффективность была отмечена при работе с матрицами, имеющими малое внешнее массу. Также были получены теоретические оценки точности, которые подтвердили высокую точность решения даже при малом числе выборок. ## Значимость Разработанный подход имеет многочисленные приложения в различных областях. Например, в области теории информации, где оптимизация трасс используется для оценки качества шифрования и кодирования. В биологических задачах, таких как генетическое обследование, где необходимо оптимизировать зависимые матрицы для поиска оптимальных решений. Данный метод также может быть применен в машинном обучении для улучшения точности решения задач, где задействованы зависимые матрицы. Важно отметить, что метод обладает высокой скоростью исполнения и ни

## Контекст Интернет-трансляции лайв-стадинга на сегодняшний день широко используются в онлайн-развлечениях и электронной коммерции, где реклама живой трансляции является важной маркетинговой стратегией для анкоров. Авторы анализируют ситуацию, когда рекламодатель хочет максимизировать эффективность рекламной кампании (например, количество конверсий) при ограничении ресурсов (как бюджетом, так и стоимостью за клик). Основным подходом для управления рекламными кампаниями является автоматическое ставление ставок (auto-bidding). Однако существующие алгоритмы либо не учитывают полную информацию о трафике в течение всего времени, либо имеют высокую вычислительную сложность. Таким образом, проблема заключается в создании быстрого и эффективного алгоритма, который может оптимизировать результаты с учетом неизвестного будущего трафика. ## Метод Авторы предлагают алгоритм Binary Constrained Bidding (BiCB), который объединяет аналитический подход к оптимальной стратегии ставки и статистический метод для прогнозирования будущего трафика. Бинарный классификатор используется для того, чтобы определить, стоит ли сделать ставку на конкретный запрос. Для прогнозирования трафика в течение следующих 30 минут используется разложение в ряд Фурье. Алгоритм BiCB является легковесным и удовлетворяет требованиям высокой скорости работы (в секундах), что необходимо для реализации в реальном времени. Также в модели включены теоретические анализы для вычисления верхних и нижних ограничений для ставок, что дает уникальные возможности для точного регулирования. ## Результаты На основе данных временных рядов проводилось несколько экспериментов. Была проведена сравнительная оценка BiCB с двумя другими алгоритмами: PID и LP, чтобы продемонстрировать его преимущества. Производительность BiCB была сравнивана по критериям, таким как средний эффект рекламы (приближение к оптимальному результату) и количество запросов с учетом ставок. Он показал значительное улучшение в эффективности в сравнении с PID и LP, оставаясь легковесным и выполняясь в течение менее 50 миллисекунд на запрос. Это демонстрирует хорошую производительность и экономию ресурсов. ## Значимость Алгоритм BiCB имеет широкие возможности применения в live advertising, где необходимо быстро реагировать на изменения трафика. Он обеспечивает возможность приближаться к оптимальной стратегии ставок с минимальным вычислительным вводом. Благодаря своим легковесным архитектуре и необходимости только в ограниченном количестве данных, BiCB может быть эффективно использован

#### Контекст В настоящее время обширно применяются машинные обучения (ML) для решения различных задач, и интерпретация моделей ML становится все более важной. Одним из популярных способов получения понимания модели является анализ вклада признаков (Feature Importance, FI). Распространенной проблемой является то, что FI может оказаться сильно зависим от корреляции между признаками в обучающих данных, что приводит к неточным оценкам. Например, если несколько признаков сильно коррелированы с целевым сигналом, а также со взятой из шума, то шумный признак может получить более высокий вклад в FI, чем любой другой признак. Такая ситуация требует разработки методов, которые позволят улучшить FI, даже в случае высокой корреляции признаков. #### Метод Метод, предложенный в статье, называется Local Sample Weighting (LOSAW). Он локально применяется в машинном обучении для уменьшения корреляции между признаками, когда FI оценивается. LOSAW вдохновлен техникой "inverser Wahrscheinlichkeitsgewichtung" из рамков причинного анализа. Основная идея состоит в том, что в каждой точке обучения модели веса выборок пересчитываются так, чтобы признак, который исследуется, был декоррелирован от остальных признаков. Это улучшает точность оценки FI. Для регулирования количества декорреляции вводится минимальный эффективный размер выборки (Minimum Effective Sample Size, MESS), который позволяет сбалансировать точность и биаз модели. LOSAW может быть интегрирован в различные ML-алгоритмы, включая случайные лесы и сверточные нейронные сети. #### Результаты Авторы провели эксперименты на различных симуляционных данных, показав разные зависимости между признаками. Эксперименты показали, что LOSAW улучшает FI в плохо декоррелированных случаях без существенного ухудшения FI в случаях более декоррелированных данных. Также была проверена эффективность LOSAW в контексте случайных лесов и нейронных сетей, где он повысил качество FI. Было также выявлено, что LOSAW может улучшить точность предсказаний, особенно при работе с данными, не входящими в обучающую выборку (out-of-distribution). #### Значимость Важность LOSAW заключается в том, что он значительно улучшает точность FI в случаях, когда признаки сильно коррелированы. Это полезно для понимания работы многих ML-моделей, в том числе случайных лесов и нейронных сетей. Значительное преимущество LOSAW заключается в том, что он может быть интегрирован в различные ML-алгоритмы без существенных изменений архитектуры. Более того, LOSAW позволяет регулировать точность и биаз модели, используя минимальный эффективный размер выборки, что дает преимущество в управлении торговлей между точностью и простотой. #### Выводы В результате, LOSAW демонстрирует способность улучшать FI в за

#### Контекст Функциональный анализ, включая классификацию, широко используется в различных областях, таких как медицина, финансы и инженерия. Однако большинство исследований фокусируются на классификации с использованием одной функциональной переменной, тем самым оставляя за собой вопросы о классификации с многомерными функциональными переменными. Эта задача является сложной, так как приводит к высокомерности моделей и требует эффективных методов регуляризации. Наша мотивация заключается в развитии модели, которая могла бы не только выполнять точную классификацию, но и обеспечивать сведение краткости в функциональных данных. #### Метод Предлагаемая модель — $L_1$-регуляризованная функциональная поддеревьявая машина. Основной идеей является внедрение регуляризационного штрафа $L_1$ в классическую функциональную супервёрхую машину. Это позволяет эффективно регулировать модель, снижая число операций, необходимых для вычисления, и выделяя стоящие из себя функциональные ковариаты. Используется метод градиентного спуска для оптимизации функционала, который позволяет решать задачу в больших размерных пространствах. Особенностью модели является её универсальность и возможность применения в различных классах задач. #### Результаты Наши эксперименты включали симуляционные и реальные данные, подтверждающие высокую точность классификации и эффективность в селекции функций. Мы использовали синтетические данные, генерирующиеся с различными структурами графа, чтобы проверить модель в условиях разной сложности. Также применялись данные реального мира, такие как медицинские и экономические, чтобы проверить модель на реальных проблемах. Результаты показали, что наша модель outperforms existing approaches в качестве классификации и эффективности в feature selection. #### Значимость $L_1$-регуляризованная функциональная поддеревьявая машина может применяться во многих областях, где требуется возможность классификации с многомерными функциональными переменными. Это модель может использоваться в медицине для диагностики заболеваний, в финансах для оценки риска и в других областях, где данные имеют сложную структуру. Из преимуществ модели выделяется высокая точность классификации, эффективность в ресурсах и возможность избавляться от неинформативных функций. Это может привести к значительным повышениям производительности в процессах классификации и прогнозирования. #### Выводы Наша модель $L_1$-регуляризованная функциональная поддеревьявая машина доказала высокую эффективность в классификации с многомерными фун

## Контекст Область применения генерирующих моделей в научных исследованиях растет быстро, однако оценивать их качество и точность остается сложной задачей. Эта проблема значительно усложняется в больших и высокомерных данных, где стандартные статистические методы ограничены. На первый взгляд, машинное обучение может предложить эффективные решения, но необходимо понять, насколько эти методы эффективны и какие особенности они имеют. В этом контексте проводится сравнение новой предложенной методики, New Physics Learning Machine (NPLM), с другими подходами для решения задачи двухвыборочного теста равенства распределений. Эта методика была предложена в работе по высокоэнергетической физике и предназначена для классификации двух выборок. Целью данного исследования является оценка эффективности NPLM в сравнении с другими методами, а также выявление того, какие методы лучше подходят для различных задач. ## Метод Для сравнения использовались различные методы двухвыборочного теста равенства распределений. Эти методы включают традиционные статистические подходы, а также машинное обучение. Основной метод для сравнения — NPLM — основывается на классификации двух выборок. Реализация проводилась с использованием нейронных сетей с плотным слоем и слоем связи, которые позволяют выделять признаки из данных. Для обучения использовалась архитектура с потерями, чтобы максимизировать вероятность того, что два выборка относятся к одному распределению. Кроме того, были использованы методы типа U-statistics и тесты Манна-Уитни, чтобы добиться хорошего сравнения. Это позволило анализировать как универсальные, так и специфические для конкретных задач подходы. Таким образом, в работе представлен комплексный подход с различными методами для получения наиболее точных результатов. ## Результаты В ходе экспериментов проводились сравнения NPLM с другими методами на различных выборках, в том числе с высокой размерностью. Обнаружено, что NPLM демонстрирует высокую эффективность в тех случаях, когда данные являются высокомерными, но имеют сильную структуру. Однако, когда данные низкой размерности, NPLM показывает слабую отдачу. Также были измерены различные показатели, такие как расхождение Колмогорова и скорость сходимости. Эти результаты позволяют сделать вывод, что NPLM лучше подходит для работы с высокомерными данными, где есть явные структурные отличия. В то же время, другие методы, такие как U-statistics и тесты Манна-Уитни, демонстрируют лучшую точность в низкомерных задачах. ## Значимость Полученные результаты показывают, что NPLM может быть эффективно использо