## Контекст В последние годы во многих научных областях, таких как медицина, экономика и социальные науки, становится все более распространенным сбор данных многомерного характера, содержащих различные типы переменных (например, количественные, категориальные и бинарные). Однако существуют ограничения в существующих методах кластеризации, так как они либо не учитывают локальную структуру данных, либо не учитывают связь между временными рядами. Это приводит к неточности в кластеризации и несоответствию реальным эмпирическим данным. Из-за этого необходимо разработать более точный и универсальный подход к кластеризации, который моделирует взаимосвязи между всевозможными типами переменных. ## Метод Модель Mixture of Mixed-Matrices (MMM) предлагает новый подход к кластеризации многомерных данных смешанного типа. Данные организуются в трехмерную структуру, где каждая переменная представляется в виде своего матричного представления. Для моделирования неконтинюальных переменных предполагается, что они являются наблюдениями за подчиненными непрерывными переменными. Модель основывается на смеси матричных-переменных нормальных распределений, чтобы выполнять кластеризацию в подпространстве латентных переменных. Эта модель может эффективно обрабатывать континюальные, ординальные, бинарные, номинальные и счетные данные, учитывая взаимосвязи, локальные зависимости и временную зависимость в пакетном режиме, не прибегая к условию условной независимости. Инференция в модели производится с помощью алгоритма MCMC-EM. ## Результаты Эксперименты с помощью синтетических данных показали, что модель MMM эффективно моделирует локальные и временные зависимости в многомерных данных смешанного типа. Она также успешно выполняет кластеризацию, даже в ситуациях с высокой степенью неоднородности в данных. На реальных финансовых данных показано, что модель хорошо приспособлена для обнаружения групп и оценки их структуры. Эти результаты подтверждают мощь MMM в обработке разнообразных типов данных и могут быть применены в различных научных и практических областях. ## Значимость МММ может быть применена во многих областях, таких как финансы, здравоохранение, экономика и социальные науки, где требуется анализ сложных многомерных данных. Особые преимущества заключаются в том, что модель может обрабатывать различные типы данных, учитывая их взаимосвязи и временные зависимости. Это означает, что MMM может предоставить более глубокие и точные результаты кластеризации, чем существующие методы. Будущими направлениями исследований будет повышение точности модели и её применение в более сложных реальных за

## Контекст Моделирование и анализ в нейронных сетях чрезвычайно важны для выбора моделей и оценки их качества. Одна из ключевых проблем в этой области заключается в том, что существующие подходы часто ориентированы на метрики производительности, не учитывая статистические тесты, которые могут учитывать вариативность выборок. Это ограничивает возможность точно оценивать различия между моделями. Таким образом, в подавляющем большинстве случаев невозможно корректно определить, какая модель лучше, так как статистические тесты не применяются к анализу значимости различных моделей. Наша цель заключается в том, чтобы разработать новый подход, который бы позволил учитывать данные с тяжелыми хвостовыми распределениями или выбросами, чтобы улучшить статистические оценки и повысить достоверность моделирования. ## Метод Мы предлагаем использовать новый подход к оценке и сравнению моделей, который основывается на тесте Моргана-Питмана для сравнения дисперсий. Метод включает в себя несколько усовершенствований, таких как возможность учитывать методы машинного обучения, которые порождают выборки с тяжелыми хвостовыми распределениями. Кроме того, решение включает в себя стратегию для уменьшения корреляции между остатками модели, что позволяет улучшить статистическую значимость. Также мы используем техники для генерирования новых данных, которые адаптируются к данным с выбросами, что помогает лучше адаптировать модели к реальным возможным ошибкам. Эта архитектура позволяет более точно оценивать модели с учетом их статистического поведения. ## Результаты Мы провели ряд экспериментов, в которых сравнивали различные модели с разными метриками. Затем мы применяли наш новый подход для оценки вариативности остатков моделей. Данные, использованные в экспериментах, включали как синтетические данные, так и реальные данные в различных областях. Результаты показали, что наш подход дает более достоверные результаты по сравнению с существующими подходами. Так, например, мы увидели, что в моделях с высокой дисперсией новый подход дает значительно более точные оценки, чем статистические тесты, использованные ранее. Эти результаты подтверждают эффективность нового подхода в различных ситуациях, включая ситуации с выбросами и тяжелыми хвостовыми распределениями. ## Значимость Наш подход может быть применен в различных областях, включая финансы, биоинформатику, а также в системы моделирования в машинном обучении. Он предлагает значительные преимущества по сравнению с существующими подходами, такими как улучшенная точность оценки моделей, бо

## Контекст Вычислительно экспенсивные модели и модели с большим количеством входных параметров часто присутствуют в прикладных задачах. Исследования гибридных и сложных систем часто требуют оценки вклада каждого входа в выходную величину, чтобы понять систему и оптимизировать ее. Одним из стандартных подходов к такой оценке является анализ вариации (Sobol' analysis). Однако существующие методы обычно ограничены моделями с небольшим числом входов из-за больших потребностей в памяти или неэффективности в вычислениях. Необходимо развитие методов, которые бы позволяли работать с моделями с тысячами входов, не теряя точности и эффективности. ## Метод Расширения предложенного метода основываются на новых подходах к вычислению индексов Sobol'. Модели с большим количеством параметров требуют новых алгоритмов, которые не требуют хранения всех данных в памяти. Мы предлагаем алгоритм, обрабатывающий данные в потоке (streaming), что позволяет обрабатывать данные в батчах. Также мы предлагаем новую оптимизацию, которая сильно уменьшает необходимость в памяти, без потери точности. Для моделей с повторяющимися входами, мы предлагаем нестандартную партицию, которая адаптируется к таким случаям. Наш подход легко интегрируется с любыми моделями, включая сложные нейронные сети. ## Результаты Мы проводили эксперименты на двух примерах моделей с множеством входов, в том числе современных нейронных сетей. Мы сравнили наш подход с классическими методами и показали, что наши расширения не только эффективнее по памяти, но и дают точные результаты, примерно на одном уровне с традиционными. Наши вычислительные эксперименты демонстрируют, что модели с тысячами параметрами могут быть анализированы с большой точностью и без значительных изменений в архитектуре. В результате, мы увеличили эффективность и точность метода Sobol' для моделей с высокой сложностью. ## Значимость Наши расширения могут быть применены в различных областях, где требуется анализ вариации, например, в технике, экологии, финансах и биологии. Этот подход позволяет работать с моделями, которые ранее были слишком сложными для такого анализа. Мы также показали, что наш метод эффективен в случаях с нестандартными распределениями входных параметров. Это открывает новые возможности для исследований и применения анализа вариации в широких областях прикладных задач. ## Выводы Мы представили расширения метода Sobol' для вычислительно экспенсивных моделей. Мы предложили новые алгоритмы и методы хранения данных, которые позволяют обрабатывать модели с тысячами входов. Наши результаты демонстриру

## Контекст Область моделирования кредитного риска широко используется в финансовой индустрии для оценки кредитной рисковности и принятия решений о предоставлении кредитов. Однако существуют значительные проблемы, связанные с несоответствием между теоретической моделью и практическими потребностями. Одним из ключевых аспектов является необходимость сочетать высокую точность предсказаний с гарантией справедливости моделей. Несомненно, что индустрия широко применяет методы, такие как Weight of Evidence (WoE) и Information Value (IV) для эффективного принятия решений, однако их теоретические основы и взаимосвязь часто остаются неясными. Это мотивирует разработку информационно-теоретического подхода, который способен объединить теоретические и практические аспекты. ## Метод Мы разрабатываем информационно-теоретический фреймворк, который унифицирует широко используемые в кредитном моделировании метрики, такие как WoE, IV и Population Stability Index (PSI). Центральной идеей является доказательство того, что IV совпадает с PSI (Jeffreys divergence), вычисляемым между хорошими и плохими кредитными результатами в рамках одинаковых бинов. Для WoE мы применяем метод дельты, что позволяет вычислять стандартные ошибки для IV и PSI. Эти вычисления позволяют проводить гипотезы о справедливости и регулируемые моделирование. Мы также используем автоматическую биновую группировку с помощью деревьев XGBoost с глубиной 1 для сравнения различных стратегий кодирования. ## Результаты Мы проводим эксперименты с использованием различных наборов данных и сравниваем три стратегии кодирования: логистическую регрессию с одноголобных преобразованиями, WoE-трансформации и ограниченные модели XGBoost. В результате показано, что все три подхода демонстрируют примерно одинаковую точность предсказаний (AUC 0.82-0.84). Это подтверждает, что информационно-теоретическая биновка превышает выбор кодирования в том смысле, что она более оптимальна для достижения баланса между точностью и справедливостью. Мы также применяем mixed-integer programming для поиска Pareto-оптимальных решений, которые позволяют учитывать точность и справедливость в рамках неопределенности. ## Значимость Наша работа имеет значительную значимость в нескольких областях. Во-первых, она предоставляет теоретическую основу для широко используемых метрик в кредитном моделировании, таких как WoE, IV и PSI, объединяя их в единой информационно-теоретической модели. Во-вторых, она позволяет решать проблему балансировки точности и справедливости в моделировании, что особенно важно для регулируемых сред, таких как финансовый сектор. В-третьих,

#### Контекст Оценка весов Монте-Карло методами на параллельных сферах широко применяется в машинном обучении, статистике и теории вероятностей. Однако, проблемами при работе с этими методами являются их высокая вариация и неэффективность в высоких измерениях. Одним из популярных методов для уменьшения вычислительной сложности является распределение точек на сфере, чтобы уменьшить взаимодействие между ними. Среди таких методов — **Repulsive Monte Carlo**, который использует отрицательно зависимые точки для уменьшения вариации. Также в статье рассматривается **Sliced Wasserstein distance (SW)**, мера расстояния между двумя распределениями на $\mathbb{R}^d$, которая широко используется в машинном обучении. Ранее развивались методы для эффективного вычисления SW, но в подавляющем большинстве случаев невзиралось на отрицательную зависимость точек. В этой статье мы рассматриваем Repulsive Monte Carlo на сфере для SW и показываем, что отрицательная зависимость может существенно улучшить качество вычислений. #### Метод Мы предлагаем Repulsive Monte Carlo, использующий отрицательно зависимые точки на сфере, для вычисления SW. Наша методология включает: 1. **Распределение точек на сфере** — мы используем **determinantal point processes (DPPs)**, которые обеспечивают отрицательную зависимость точек. 2. **Оценка UnifOrtho** — мы проанализировали независимый монотонный Monte Carlo-образный алгоритм UnifOrtho, который использует ортогональные разбиения на сфере. Для этого использовались теоретические результаты о том, как отрицательная зависимость уменьшает вариацию. 3. **Эксперименты** — мы провели эксперименты на разных размерах измерений с разным количеством точек. Мы сравнили Repulsive Monte Carlo с традиционными методами и оценками UnifOrtho. #### Результаты Мы проводили несколько экспериментов, используя различные меры SW, в том числе на высоких измерениях. Наши результаты показали, что: - **Repulsive Monte Carlo** демонстрирует значительную уменьшение вариации по сравнению с традиционными методами. - Высокоизмерных пространствах UnifOrtho показывает лучшую производительность по сравнению с другими методами. - Отрицательная зависимость точек действительно уменьшает вариацию и улучшает точность вычислений. - Были выявлены условия, при которых DPP-based quadratures показывают лучшую скорость сходимости. #### Значимость Предлагаемый подход может быть применен в различных областях, где используются весовые оценки на сфере, такие как: - **Машинное обучение** — использование SW для решения задач кластеризации, метрических расстояний и распределений. - **Теория вероятностей** — вычисление распределений на сфере, которые имеют приложения в теории диффузии и распределений данных. - **Статисти

#### Контекст Graph Neural Networks (GNNs) широко применяются в области обучения на данных с графовой структурой. Тем не менее, причины, по которым GNNs могут успешно обобщаться на неизвестных данных, или, наоборот, могут провалиться, пока не ясны. Существуют работы, исследовавшие ограничения архитектурных характеристик, такие как over-smoothing и over-squashing, но они не дают полного понимания, что позволяет GNNs эффективно извлекать смысловую информацию. Эти вопросы связаны с понятием generalisation: способностью модели делать точные прогнозы на необученных данных. Несмотря на то, что некоторые работы предложили оценки generalisation error для GNNs, они часто оказываются слишком грубыми, привязаны к одной конкретной архитектуре и не дают полного видения того, что влияет на generalisation в реальных условиях. Мы предлагаем другой подход, основываясь на точном вычислении generalisation error в transductive fixed-design среде с использованием принципов signal processing. #### Метод Мы рассматриваем GNNs как graph filter operators, которые применяются к фичевым данным нод с помощью структуры графа. Мы фокусируемся на линейных GNNs, при этом допускаем нелинейность в графических фильтрах. Это позволяет нам определить точную формулу generalisation error для широкого класса GNNs, включая convolutional, PageRank-based и attention-based модели. Мы показываем, что только информация, которая тесно связана с графовой структурой и фичами, вкладывается в generalisation. Мы также изучаем влияние homophily (схожести нод) на generalisation. Наш подход даёт фреймворм для понимания, почему GNNs могут эффективно использовать структурную и фичевую информацию, и подсказывает, когда и почему они могут провалиться. #### Результаты Мы проводили эксперименты на различных графах, включая задачи link prediction и node classification. Использовавшимися данными были фичавыражения нод, а также структура графа. Мы сравнивали результаты наших вычислений generalisation error с реальными результатами моделей GNNs. Результаты показали, что наша теоретическая модель точно предсказывает, какие модели и на каких графах будут работать лучше. Мы также проанализировали влияние параметров, таких как homophily, на generalisation. Наши результаты подтверждают, что только аллигационная информация (информация, которая тесно связана с графовой структурой) влияет на generalisation, что отклоняет влияние других факторов. #### Значимость Наше исследование имеет значимые последствия для области обучения на графах. Мы предоставляем новую точку зрения на то, как GNNs обучаются и почему они могут провалиться. Наши результаты имеют практическое значение для model selection и optimisation GNN-based architectures. Мы также показали, что homophily важно для generalisation, что может помочь в адаптации моделей к различным типам графов

## Контекст Информационные технологии в настоящее время широко применяются в различных сферах жизнедеятельности, в том числе в медицине, финансах, торговле и образовании. Одним из ключевых аспектов обработки данных является поддержание конфиденциальности информации, особенно в ситуациях, когда данные разбросаны в разных местах. Децентрализованное хранение данных делает их более защищенными, но при этом вводит сложности в их обработку. Одной из целей исследований является разработка методов, позволяющих эффективно обрабатывать данные, сохраняя при этом их конфиденциальность. Одной из проблем в данной области является то, что при слиянии данных из разных источников возникает необходимость инъекции шума для обеспечения конфиденциальности, что приводит к снижению качества данных. Мотивация для этого исследования заключается в том, чтобы разработать методы, которые бы позволяли улучшить точность и качество данных при соблюдении принципов конфиденциальности. ## Метод В данной работе предлагается метод генерирования синтетических данных с использованием технологии Differentially Private Class-Centric Data Aggregation (DP-CDA). Этот метод заключается в следующем: для синтеза данных из нескольких классов применяется случайное смешивание нескольких выборок из одного класса, после чего к результату применяется гауссовский шум, который помогает обеспечить конфиденциальность. Однако при работе в децентрализованном режиме, когда каждый узел имеет только часть данных, возникают дополнительные сложности. Для того чтобы улучшить качество данных в таком режиме, вносится корреляционный шум, который позволяет улучшить точность и качество результирующих данных. Предлагаемая технология CAPE (Correlation-Assisted Private Estimation) позволяет клиентам совместно генерировать шум, который при суммировании приводит к его отмене, чтобы улучшить точность данных. Это решение позволяет решить проблему снижения качества в децентрализованном режиме, сохранив при этом конфиденциальность данных. ## Результаты В ходе исследования проводились эксперименты на двух наборах данных: MNIST и FashionMNIST. На основе этих данных были проведены сравнительные эксперименты с целью оценки качества синтетических данных. Эксперименты показали, что применение предлагаемого подхода позволяет значительно улучшить качество данных в сравнении с существующими методами, при этом сохраняя высокие показатели конфиденциальности. Также было показано, что при достаточном количестве данных синтетические данные могут быть немного связаны с исходными, что делает их более полезными для последующей обработки. ## Значимость Предлагаемый подход может быть использован в различных областях

#### Контекст Область варианс-базированной сенситивности (Sobol' index) играет ключевую роль в анализе влияния входных параметров на выходные показатели сложных моделей. Данные методы особенно важны для моделей, требующих высоких вычислительных затрат, таких как модели нейронных сетей, в которых число входных параметров может превышать $10^4$. Однако существующие методы стыкуются с ограничениями при работе с моделями этого класса. Особенно это касается методов, использующих "предварительно заданные" данные (given-data methods), которые требуют хранения всех входно-выходных данных в памяти, что быстро становится неоправданно ресурсоёмким. Наша мотивация заключается в развитии расширенных методов, позволяющих эффективно использовать имеющиеся данные для высокоточного анализа влияния входных параметров в случаях с очень большим числом параметров. #### Метод Мы разработали расширения существующих данных-данных методов, которые устраняют ключевые ограничения. В частности, мы предложили **обобщённое определение выборочного Sobol'-индекса** с произвольной разбивкой входных параметров. Также разработана **стриминговая алгоритмика**, позволяющая обрабатывать входно-выходные данные в батчах, что эффективно ограничивает требования к памяти. Для снижения шума в результатах мы внедрили **метод фильтрации незначительных индексов**, который отсеивает значения, не отличимые от нуля статистической точностью. Эти разработки позволяют применять данные методы к моделям с миллионами входных параметров, предоставляя точные и надежные результаты. #### Результаты Мы провели эксперименты на двух примерах моделей нейронных сетей, имеющих более $10^4$ параметров. Мы сравнили наши расширенные методы с существующими подходами, включая стандартную реализацию подхода Sobol' с эквипобабной разбивкой. Наши результаты показали, что расширенные методы не только эффективнее в терминах вычислительных затрат, но и обеспечивают более точные результаты, особенно при больших размерах выборки. Мы также проанализировали причины, по которым стандартная разбивка может привести к биазу в вычислениях, и демонстрировали, что наше решение эффективно отвечает этому вызову. #### Значимость Предложенные расширения позволяют расширить возможности данных методов до моделей, используемых в машинном обучении, системах многомерного управления, и даже некоторых приложениях в физике и биологии. Они эффективны в области моделей с большим числом входных параметров, где предыдущие методы были неэффективны. Это открывает новые горизонты для варианс-базированного анализа в та

## Контекст Поиск оптимальных решений во многих областях робототехники требует оптимизации сложных, временнодорогих функций, которые часто описываются через стохастические модели. Эти функции, называемые "черновыми", не имеют прямых выражений, а требуют экспериментального измерения или симуляции. Добавленная стохастичность из-за неизмеримых разбросов в реальных условиях делает такую оптимизацию вызовом. Байесовская оптимизация предлагает эффективный подход, используя модель вероятности для оценки функции. Несмотря на это, её эффективность определяется качеством оценок доверительных интервалов, формируемых при помощи функционального оценивания. ## Метод Для решения этой проблемы предлагается использовать Wilson Score Kernel Density Estimation (WS-KDE), который обеспечивает надежные доверительные интервалы для любой стохастической функции, имеющей выход в диапазоне [0;1]. Техника основывается на подходах к вычислению доверительных интервалов Уилсона и технике оценки плотности KDE. Эта комбинация позволяет удачно использовать WS-KDE в качестве рабочей модели для оценки доверительных интервалов в стохастических задачах оптимизации. ## Результаты В ходе экспериментов показано, что WS-KDE не только обеспечивает точные оценки доверительных интервалов, но также демонстрирует высокую стабильность при работе с различными стохастическими задачами. Набор экспериментальных данных, включающий моделирование симуляций и реальных экспериментов с вибрационными питательными устройствами, подтверждает эффективность WS-KDE в глобальной оптимизации таких задач. ## Значимость Полученный подход имеет широкие применения в робототехнике, где необходима оптимизация затратных временем и сложных симуляционных моделей. WS-KDE позволяет достичь более качественной оптимизации за счёт точных оценок доверительных интервалов, не зависящих от распределения функции вывода. Также, применимость к различным сценариям демонстрируется на задаче автоматизированного проектирования ловушек для вибрационных питательных устройств. ## Выводы Результаты демонстрируют перспективу применения WS-KDE в байесовской оптимизации, в том числе для сложных и стохастических задач. Будущие исследования могут сфокусироваться на расширении WS-KDE на адаптивные модели, чтобы улучшить эффективность и обеспечить более гибкие оптимизационные стратегии в различных приложениях.

## Контекст Модели низкой степени появились как мощный инструмент для объяснения статистико-вычислительных лавин в различных высокомерных статистических моделях. Однако их применение в задачах распознавания и более сложных тестовых задач становится сложнее в случае, когда плаантидные структуры в $\mathbb{P}$ приводят к невозможности найти простое $\mathbb{L}^2(\mathbb{P})$-ортогональное подмножество полиномов. Это ограничение приводит к необходимости разработки более гибких методов, которые могут справиться с этими проблемами. ## Метод В нашей работе мы предлагаем более прямую стратегию доказательства. Она основывается на построении базиса почти ортонормированных полиномов в режимах, где возникают статистико-вычислительные лавины. Это подходящее решение задачи в случае случайных графов, где мы определили базис, который почти ортонормирован под условиями, при которых возникают эти лавины. Это позволяет нам эффективно устанавливать нижние ограничения на степень полиномов и исследовать пользу сложности алгоритмов. ## Результаты Мы применяем нашу методику для решения задач распознавания в графах, таких как скрытые подграфы, модели статистического блочного моделирования и сериатиона. Обнаруживаются новые нижние ограничения и подтверждаются существующие, что подтверждает точность и эффективность нашего метода. ## Значимость Наши результаты могут быть применены в различных высокомерных статистических задачах, в том числе в моделях сигналов, данных и обработке информации. Они демонстрируют повышенную прозрачность в построении нижних ограничений на степень и дают понимание оптимальных полиномов, которые могут быть применены в алгоритмах. Это также открывает пути для будущих исследований в стратегиях низкой степени для сложных моделей. ## Выводы Мы установили новые нижние ограничения на степень с помощью почти ортонормированных базисов в режимах, где возникают статистико-вычислительные лавины. Этот метод позволил нам не только установить новые ограничения, но и получить новые алгоритмы для распознавания в графах. Наше исследование открывает новые возможности для дальнейших исследований в этой области.