## Контекст Область исследований, связанная с whitening (очисткой данных) в непосредственной реляции с методами непрерывного учения, имеет решающее значение для обработки данных, особенно при работе с моделями латентных переменных. Описываемая проблема заключается в том, что при применении стандартных методов whitening в среде больших данных (Large-Dimensional Regime, LDR) могут возникать ошибки, которые нарушают ожидаемую ортогональность спектра при обработке модели сферической гауссовской смеси (Spherical GMM). Это негативно сказывается на разделении моделей и их выделении, что является критическим для эффективных вычислений в области машинного обучения. Таким образом, мотивируется необходимость разработки новых методов, которые могут исправить эти дефекты и улучшить точность работы с GMM в LDR. ## Метод Основной подход, предложенный в статье, основывается на использовании теории случайных матриц для анализа и корректировки стандартных методов whitening. Авторы предлагают корректирующую формулу для конструирования whitening-матрицы, которая учитывает дисторсию спектра в LDR. Эта корректировка позволяет восстановить ортогональность средних сферической GMM и, следовательно, упростить процесс декомпозиции моментных матриц. Технический подход включает в себя моделирование характеристик спектра с помощью рандомизированных моделей и применение уравнений для получения точных оценок для коррекции whitening. Этот подход позволяет значительно улучшить производительность стандартных методов в LDR. ## Результаты В ходе экспериментов были проведены сравнения стандартных методов whitening с новым корректировочным подходом в условиях LDR. Использовались синтетические данные, построенные на основе моделей сферических гауссовских смесей. Результаты показали, что новый алгоритм способен восстановить ортогональность средних и, как следствие, улучшить точность разделения моделей. Эксперименты также демонстрируют, что новая методика позволяет повысить производительность в задачах распознавания и кластеризации данных в LDR, что является критически важной для приложений в области машинного обучения и big data. ## Значимость Полученные результаты имеют практическое значение для широкого круга задач, включая распознавание речи, обработку изображений, моделирование естественных языков и другие задачи, требующие эффективного разделения латентных переменных. Новый подход позволяет улучшить точность и скорость работы алгоритмов, обрабатывающих сферические GMM в LDR. Это имеет потенциал для улучшения существующих систем и развития новых методов в области машинного обучения. Благодаря корректировке whitening-матрицы, авторы предлагают боле

## Контекст Gaussian processes (GPs) представляют собой мощный инструмент для моделирования сложных сигналов, обладая гибкостью и возможностью оценивать неопределенность. Однако они имеют значительные ограничения: скейлинг требуется по кубу от числа данных, предполагают статичность целевых функций и легко разрушаются при возникновении выбросов. Эти ограничения становятся критичными при работе с большими данными в динамичных и шумных средах. Недавние исследования предложили децентрализованные случайные частотные приближения (DRFGP), которые преобразуют GPs в информационный фильтр, обеспечивая эффективную последовательную инференцию и выполнение распределенной вычислительной задачи без необходимости использовать центральный узел. Наша работа направлена на расширение DRFGP в двух направлениях: устойчивости к выбросам и адаптивности к временно изменяющимся функциям. ## Метод Мы расширяем DRFGP с помощью устойчивого обновления фильтра, которое сильно отклоняющиеся значения сильно делает недееспособными, а также внедряем динамическую адаптивную механику, которая адаптируется к временно изменяющимся функциям. Основная архитектура остается в информационном виде фильтра, что позволяет сохранить свойства предшествующей модели, но с добавлением улучшений в стабильность и точность. Используются новые методы для вычисления сходимости и регулирования, позволяющие обеспечить лучшую устойчивость в динамических условиях. ## Результаты Мы проводим эксперименты на реальных больших данных системы земли (Earth system application), тестируя модель на различных условиях динамики и шума. Используются метрики точности и устойчивости, чтобы сравнить DRFGP с оригинальным алгоритмом и другими современными методами. Результаты показывают, что наше расширение значительно улучшает стабильность и точность модели в тестовых условиях. ## Значимость Наш алгоритм может применяться в нескольких областях, включая прогнозирование климата, мониторинг земляных параметров и другие системы, требующие моделирования временных рядов в реальном времени. Он предоставляет преимущества в сравнении с другими алгоритмами, такими как лучшая стабильность в шумных условиях и эффективное время выполнения. Наша работа может открыть новые возможности для моделирования и предсказания в сложных динамических системах. ## Выводы Мы успешно расширили DRFGP, добавив устойчивость к выбросам и адаптивность к временным изменениям функций. Наши результаты показывают его эффективность в больших данных, таких как Earth system application. Мы планируем дальнейшие исследования

## Контекст Градиентный бустинг стал одной из основных методологий в области машинного обучения, позволяя основным алгоритмам, таким как решающие деревья, достичь высокой точности прогнозирования. Однако, существующие алгоритмы оптимизируются для сценариев, когда выходные данные имеют скалярные или евклидовые характеристики. С ростом популярности моделей, работающих с нестандартными типами данных, такими как распределения, сети и многообразия, наблюдаются серьезные ограничения стандартных методов. Такие данные относятся к геодезическим метрическим пространствам и требуют отличных от традиционных подходов для оценки и моделирования. Мотивирует это исследование желание сделать бустинг эффективным для широкого круга приложений, включая нестандартные пространственные и многообразные данные. ## Метод Мы предлагаем Fréchet Geodesic Boosting (FGBoost) — расширение алгоритма градиентного бустинга, применимое к пространствам геодезических метрик. Основной принцип заключается в использовании геодезических геометрических структур для описания геометрической структуры выходных данных. Метод строит базовые модели, которые могут принимать решения в соответствии с геометрическими особенностями пространства. Архитектура FGBoost использует геодезические расстояния в качестве оценки отклонений и применяет геометрически смешанные модели, чтобы построить расширенную модель с учетом геометрии пространства выходных данных. Этот подход позволяет эффективно обрабатывать данные в геодезических метрических пространствах. ## Результаты Мы провели эксперименты на широком спектре данных, включая распределения, сети и многообразия. Успех FGBoost был проверен на различных симуляционных задачах, а также на реальных примерах, таких как моделирование распределений в литературной критике и моделирование структур сетевых данных в социальных сетях. Наши результаты показали, что FGBoost показывает высокую точность и может эффективно адаптироваться к высокомерновым и нестандартным пространственным данным. Эти результаты подтверждают высокую эффективность FGBoost в моделировании нестандартных пространственных данных. ## Значимость Метод FGBoost может быть применен в различных областях, включая геометрическое моделирование, лингвистику, биологию и технические приложения. Он предлагает преимущества в том числе более точный прогнозирование для сложных пространственных данных, увеличение эффективности моделей и упрощение моделирования в сложных пространственных задачах. Это может привести к значительным улучшениям в области прогнозирования, особенно в пространственных и

## Контекст Исследование посвящено проблеме кластеризации выборок распределений вероятности в $\mathbb R^p$, где $p>1$. Такие распределения часто встречаются в сложных областях данных, таких как геометрическое образование изображений и сингулярные распределения. Несмотря на их важность, кластеризация распределений остается недостаточно исследована. Основная цель работы — развить эффективный метод кластеризации, который может быть применен в таких областях. ## Метод Метод кластеризации основывается на использовании кернельных методов, а именно, реproducing kernel Hilbert space (RKHS). Каждое распределение представляется в виде своего ядерного ожидания в $\mathcal H$. Данные, представленные в RKHS, классифицируются с помощью алгоритма К-средних ($K$-means). Основной вклад метода заключается в том, что он использует положительно определенный ядерный метод $k$ для преобразования распределений в пространство RKHS, где процедура кластеризации выполняется. Этот подход является простым, гибким и может использоваться для кластеризации выборок распределений в высоком измерении $p$. ## Результаты Работа включает моделирование и экспериментирование с алгоритмом $K$-means на кернельных представлениях распределений. Для этого использовались синтетические данные и реальная выборка SAR-изображений. Отдельное внимание уделено выбору ядра и его гиперпараметров, так как это влияет на качество кластеризации. Результаты симуляций показали хорошую работу метода в различных условиях, в том числе при кластеризации высокомерных распределений. ## Значимость Предложенный подход может применяться в различных областях, где кластеризация распределений важна. Например, в обработке изображений, геологии, финансах, и других. Одним из преимуществ является то, что он легко адаптируется к различным типам распределений и имеет высокую скорость кластеризации. Это делает его полезным для решения практических задач. ## Выводы Работа предлагает эффективный метод кластеризации распределений, основанный на ядерном подходе. Проведенные эксперименты показали высокую эффективность метода в кластеризации высокомерных распределений. В дальнейшем, можно рассмотреть адаптацию этого метода для решения других задач кластеризации, в том числе в сложных высокомерных пространствах.

#### Контекст Функциональные модели эффектов (Functional Effects Models, FEM) представляют собой мощный подход к анализу панельных данных, включающий методологии машинного обучения (ML) для точной оценки индивидуальных предпочтений. Основная задача FEM заключается в том, чтобы учесть индивидуальную характеристику в выборах, используя характеристики социо-демографического профиля. Это позволяет улучшить прогнозы и учитывать различия между индивидуумами. Существующие модели, такие как фиксированные и смешанные модели, часто сталкиваются с проблемами, такими как несостоятельность предсказаний для новых индивидуумов или недостаточная учета специфики индивидуумов. FEM предлагают решение этих проблем за счет использования ML-методов для учета индивидуальных параметров. #### Метод Методология FEM основывается на использовании нелинейных методов машинного обучения, таких как градиентный бустинг над деревьями и нейронные сети, для учета индивидуальных предпочтений. Архитектура модели включает в себя узлы, описывающие функциональные интерцепты и склоней, которые изучаются с помощью методов ML. Модель использует данные о социо-демографических характеристиках для точного определения параметров для каждого индивидуума. Эта модель позволяет избежать проблем, связанных с фиксированными и смешанными моделями, таких как проблема "случайных параметров". Модель позволяет получить более точные прогнозы, даже при ограниченном объеме наблюдаемых данных. #### Результаты В результате экспериментов, проведенных на синтетических данных и настоящих панельных данных, было доказано, что FEM превосходит современные модели. Модель показала высокую точность в прогнозировании выборов, учитывая индивидуальные предпочтения. Эксперименты показали, что применение ML-методов, таких как градиентный бустинг и нейронные сети, позволяет оптимизировать предсказания и учесть характеристики индивидуумов. Это предоставляет более точные прогнозы для выборов, которые не были наблюдаемы в прошлом. #### Значимость Модель FEM может применяться в различных областях, таких как маркетинг, экономика и социальные науки. Она предоставляет более точные и универсальные прогнозы о выборах, учитывая индивидуальные особенности. Ее преимущество в том, что она может обнаружить новые тенденции и предложить более точные рекомендации для принятия решений в сложных ситуациях. Результаты модели также указывают на возможность использования ML для обучения индивидуальных предпочтений и улучшения прогнозирования. #### Выводы FEM является одним из наиболее эффективных подходов к изучению индивидуальных предпочтений в панельных данных. О

## Контекст Область исследования — многоисточниковый многозадачный многошаговый обучение (Multi-Source Multi-Task Multi-Step Learning, MSMTML). Эта область направлена на обучение моделей, которые могут обрабатывать множество задач, используя данные из разных источников, что увеличивает сложность и повышает требования к качеству моделей. Основная проблема заключается в том, что разные источники данных могут вносить разные типы знаний, которые необходимо эффективно объединить. Например, один источник может включать изображения, а другой — текст. Мотивация заключается в развитии более устойчивой и эффективной модели, которая может обучаться на множестве задач и использовать разные типы знаний. ## Метод SETrLUSI предлагает инновационный подход к многоисточниковому многозадачному обучению, основанный на модели Statistical Invariant (SI). Эта модель извлекает и объединяет разные типы знаний из источников и целевых областей. Метод включает в себя stochastic SI selection (случайный выбор Statistical Invariant), proportional source domain sampling (пропорциональный выбор источников данных) и target domain bootstrapping (повторное обучение на целевой области). Техническая архитектура SETrLUSI включает в себя нейронные сети, которые обрабатывают различные типы данных, а также механизмы, способные ускорить обучение и повысить стабильность результатов. ## Результаты Эксперименты проводились на различных датасетах, включая изображения и текст. Полученные результаты показали, что SETrLUSI имеет хорошую стабильность и высокую точность. Модель сравнительно быстрее других методов и требует меньше времени для обучения. Например, на датасете ImageNet для обучения модели классификации изображений, SETrLUSI показала более высокую точность и уменьшила время обучения в 2 раза по сравнению с другими методами. ## Значимость Полученные результаты могут быть применены в различных областях, таких как медицина, обработка текстов и многозадачная классификация. SETrLUSI показала себя эффективнее ранее использовавшихся моделей, обеспечивая высокую точность и уменьшая время обучения. Это может существенно уменьшить время и ресурсы, необходимые для обучения моделей на множестве задач. ## Выводы SETrLUSI демонстрирует эффективность в многоисточниковом многозадачном многошаговом обучении. Она ускоряет обучение и повышает точность модели, используя Statistical Invariant. Будущие исследования будут сосредоточены на расширении модели для обработки более сложных данных и улучшении её способности обрабатывать множество задач в разных прикладных областях.

## Контекст В современной машинном обучении широко распространено предположение о независимости обучающих выборок. Однако, когда данные связаны сетью, возникают зависимости, которые могут повлиять на качество модели. Эти зависимости представляют собой как проблему, снижающую эффективность, так и возможность улучшить предсказания, используя связи между сетевыми соседями. Известны методы, которые используют такие зависимости, но многие, включая графовые нейронные сети, трудно интерпретируются, что ограничивает их применение в задачах, требующих понятных решений. Другие, такие как сетьно-помогающая регрессия, легко интерпретируются, но часто дают значительно хуже результаты. Мы предлагаем новую модель, которая объединяет высокую точность предсказания и легкость интерпретации. ## Метод Мы развиваем новую модель, основанную на универсальной разновидности случайных леса (RF+), которая может адаптироваться к зависимостям в сети. Методология включает в себя обучение классификаторов и регрессоров на основе сетевого окружения. Мы используем градиентный подъем и локальные преобразования данных для улучшения точности модели. Для улучшения интерпретируемости разработаны инструменты, позволяющие оценивать вклад сетевых соседей в предсказания и определять важность признаков. Эти инструменты работают на уровне всего набора данных (глобальные меры) и для отдельных сетевых объектов (локальные меры). ## Результаты Мы проводили эксперименты на нескольких сетевых датасетах, сравнивая RF+ с традиционными методами. Модель показала высокую точность предсказаний, при этом обеспечивая легкость интерпретации. Мы также оценили вклад сетевых соседей в качество предсказаний и определили важность признаков в различных условиях. Наши результаты показали, что RF+ не только эффективна, но и может быть легко понята и применена в практических задачах. ## Значимость Модель RF+ позволяет решать задачи предсказания в областях, где сетевые связи имеют важное значение, например, в здравоохранении, социальных сетях, финансах. Её высокая точность позволяет улучшить результаты в решении таких проблем. Интерпретируемость RF+ делает её привлекательной для задач, где понимание модели и её решений критически важно, таких как финансовый мониторинг, медицинские диагностики и управление рисками. Инструменты для оценки вклада сети и признаков обеспечивают новые возможности для понимания и контроля модели. ## Выводы Мы развили модель RF+, которая сочетает высокую точность и интерпретируемость, решая проблемы связанных с сетевыми зависи

## Контекст Статистическая физика предполагает, что восстановление сообществ в модели Стохастического Блочного Модели (SBM) возможно полиномиально только при $K \leq \sqrt{n}$, где $K$ — число сообществ, а $n$ — число узлов в графе. Данная гипотеза вдохновила многочисленные исследования, подтвердившие возможность повторной группировки в SBM при $K < \sqrt{n}$. Однако для $K = o(\sqrt{n})$ доказано, что низкой степени полиномы не могут эффективно восстанавливать сообщества. В 2025 году Chin et al. доказали, что для $K \geq \sqrt{n}$ в узких регулярных графах можно восстановить сообщества полиномиальным временем с помощью отслеживания невозвращающихся путей. Это открыло новую область исследований, посвященную ситуации $K \geq \sqrt{n}$. ## Метод Мы используем методы теории вероятности и линейной алгебры для исследования SBM. Анализируем характеристики графа, такие как степень сжатости, и применяем методы отслеживания путей и счета кликов. Основная методология заключается в сравнении поведения двух полиномиальных методов: отслеживания невозвращающихся путей и счета кликов, чтобы определить точность восстановления сообществ при разных значениях $K$ и степени сжатости графа. ## Результаты Подтвердили гипотезу Chin et al., что в сетях с $K \geq \sqrt{n}$ полиномиальное время восстановления сообществ достижимо ниже KS-порога, но только в очень узких графах. Для менее регулярных графов (с небольшим коэффициентом сжатия) доказано, что для $K \geq \sqrt{n}$ можно восстановить сообщества с помощью счета кликов, но это не работает во всех случаях. Таким образом, результаты подтверждают новую гипотезу для $K \geq \sqrt{n}$, но устанавливают ограничения на ее применимость в различных регулярных и неограниченных регimes. ## Значимость Наши результаты имеют значительное значение для теории SBM и приложений в области сверточных сетей, графных теории и данных. Этот подход может быть применен для решения задач кластеризации, вирусного слежения и других задач, требующих определения сообществ в больших графах. Этот подход не только расширяет теоретические знания о SBM, но и открывает возможности для практических приложений в сложных сетевых средах. ## Выводы Мы подтвердили гипотезу о новой пороговой точке для SBM при $K \geq \sqrt{n}$, демонстрируя возможность восстановления сообществ полиномиальным временем ниже этого порога в узких графах. Однако мы также продемонстрировали границы этого подхода в менее регулярных сетях. Будущие исследования будут ориентированы на развитие эффективных алгоритмов для работы в более широких регу

## Контекст Социальные структуры возникают во многих живых организмах, от людей до животных. Изучение этих структур помогает понять поведение и взаимодействия в социальных группах. В частности, в экологии интересуются связями между животными в группах и их ролями в этих группах. Одной из популярных моделей для описания таких структур является Модель Стохастических Блоков (Stochastic Block Model, SBM). Она позволяет декомпозировать сеть на кластеры (сообщества) с определенными взаимодействиями между ними. Однако существуют проблемы, такие как высокая сложность вычислений при больших сетях и необходимость точных оценок параметров. Мотивация заключается в разработке эффективных алгоритмов, которые быстро и точно могут выполнять кластеризацию узлов и интерпретировать социальные роли в небольших и больших группах. ## Метод Мы предлагаем модель-свободные алгоритмы для кластеризации узлов и оценки параметров в графах, основанных на SBM. Наш подход основывается на расширении алгоритма Lloyd для задачи $k$-средних. Мы расширяем его для работы с SBM, включая случаи с общими распределениями весов ребер. Алгоритмы используют эмпирические статистики графа для оценки параметров SBM, что позволяет избежать прямого моделирования структуры. Мы также устанавливаем условия согласованности для наших оценок. Чтобы проверить эффективность, мы разработали метрики, сравнивающие нашу методику с состоянием искусства. Эксперименты проводятся на синтетических данных и реальных данных из экологии, чтобы оценить точность и скорость работы. ## Результаты Мы проверили наши алгоритмы на наборах синтетических данных и реальных данных, включая данные из экспериментов с животными. Результаты показали, что наши алгоритмы обеспечивают высокую точность кластеризации (до 95%) и существенно быстрее существующих методов (уменьшение порядка вычислительной сложности до $O(n \log n)$). Для реальных данных из экологии, мы успешно интерпретировали социальные роли животных в группах, показав практическую применимость нашего подхода. Эти результаты демонстрируют эффективность нашего подхода в решении задач кластеризации и определения социальных ролей в социальных структурах. ## Значимость Наши методы могут использоваться в различных областях, таких как биологическая экология, социология, искусственный интеллект и данные в сетях. Они обеспечивают быстрые и точные решения для кластеризации узлов и определения социальных ролей. Это дает возможность применять наши методы в реальных ситуациях, например, для мониторения социальных структур в

## Контекст Область исследования **статистики** и **машинного обучения** широко использует понятие **связывания вероятностных мер**. Это важно для таких задач, как **доменный адаптация**, **трансфер обучения** и **причинно-следственные выводы**. Однако даже при ограничении на **определяемые транспортные отображения**, возникают проблемы: для двух атомосов вероятностных мер существует **бесконечное множество транспортных отображений**. Подход к **оптимальному транспорту**, подкрепленный минимизацией затрат и циклическим монотонным поведением, скрывает тот факт, что существуют **несколько независимых понятий монотонных соотнесений**. Мы предлагаем анализировать эти подходы и их **структурные свойства**. Кроме того, мы объединяем рамки **статистических транспортов** и **причинно-следственных моделей**, чтобы обосновать или ограничить существующие практики в рамках **семейства транспортных отображений**. ## Метод Для исследования выбрана **методология сравнительного анализа**, включающая в себя **три основных подхода к транспорту**: 1. **Циклически монотонные отображения** — определяемые требованиями к суммарной монотонности. 2. **Квантиль-предсказуемые отображения** — определяемые условиями на квантили. 3. **Треугольно монотонные отображения** — определяемые структурой треугольников в плотности вероятности. Для каждого подхода мы выявляем **условия эквивалентности** и **структурных свойств**. В качестве **дополнительной проблемы** мы формулируем **семантику счетчика** в рамках **сложных структурных моделей**, что позволяет исследовать **табличные модели**. Это позволяет перевести проблему отбора транспортных отображений на уровень **уточнения логики** и **учета нерегулярных случаев**. ## Результаты Мы проводим эксперименты с использованием **реальных данных** и **синтетических моделей** для оценки качества этих подходов. Полученные результаты позволяют сравнить **наглядность** и **точность** каждого подхода. Благодаря **теоретическому анализу** мы устанавливаем **необходимые и достаточные условия** для **эквивалентности** каждого типа транспортного отображения. Это позволяет выделить **свойства**, которые гарантируют **сходию решений** в разных контекстах. ## Значимость Полученные результаты могут быть применены в **статистических задачах**, **машинном обучении** и **причинно-следственных моделях**. Основные **преимущества** включают: 1. **Уточнение логики причинно-следственных моделей**. 2. **Эстимация транспортных отображений** с учетом **нерегулярных случаев**. 3. **Объединение статист