## Контекст В современной машинном обучении широко распространено предположение о независимости обучающих выборок. Однако, когда данные связаны сетью, возникают зависимости, которые могут повлиять на качество модели. Эти зависимости представляют собой как проблему, снижающую эффективность, так и возможность улучшить предсказания, используя связи между сетевыми соседями. Известны методы, которые используют такие зависимости, но многие, включая графовые нейронные сети, трудно интерпретируются, что ограничивает их применение в задачах, требующих понятных решений. Другие, такие как сетьно-помогающая регрессия, легко интерпретируются, но часто дают значительно хуже результаты. Мы предлагаем новую модель, которая объединяет высокую точность предсказания и легкость интерпретации. ## Метод Мы развиваем новую модель, основанную на универсальной разновидности случайных леса (RF+), которая может адаптироваться к зависимостям в сети. Методология включает в себя обучение классификаторов и регрессоров на основе сетевого окружения. Мы используем градиентный подъем и локальные преобразования данных для улучшения точности модели. Для улучшения интерпретируемости разработаны инструменты, позволяющие оценивать вклад сетевых соседей в предсказания и определять важность признаков. Эти инструменты работают на уровне всего набора данных (глобальные меры) и для отдельных сетевых объектов (локальные меры). ## Результаты Мы проводили эксперименты на нескольких сетевых датасетах, сравнивая RF+ с традиционными методами. Модель показала высокую точность предсказаний, при этом обеспечивая легкость интерпретации. Мы также оценили вклад сетевых соседей в качество предсказаний и определили важность признаков в различных условиях. Наши результаты показали, что RF+ не только эффективна, но и может быть легко понята и применена в практических задачах. ## Значимость Модель RF+ позволяет решать задачи предсказания в областях, где сетевые связи имеют важное значение, например, в здравоохранении, социальных сетях, финансах. Её высокая точность позволяет улучшить результаты в решении таких проблем. Интерпретируемость RF+ делает её привлекательной для задач, где понимание модели и её решений критически важно, таких как финансовый мониторинг, медицинские диагностики и управление рисками. Инструменты для оценки вклада сети и признаков обеспечивают новые возможности для понимания и контроля модели. ## Выводы Мы развили модель RF+, которая сочетает высокую точность и интерпретируемость, решая проблемы связанных с сетевыми зависи

## Контекст Сетевая представительственственность — это подход к преобразованию сложности сетевых структур в низкомерическое пространство, сохраняя структурные и семантические свойства. Этот подход находит применение в различных областях, включая обнаружение социальных сетей, анализ биологических сетей и прогнозирование социальных характеристик. Однако в некоторых задачах, например в анализе брайн-коннективности, встречаются специфические сетевые структуры: тематические, высокомерические и спарсные, которые часто не содержат дополнительных меток по узлам или ребрам. Эти особенности становятся проблемами для традиционных методов. Мы призваны развить методы, которые могут эффективно кодировать ребра сетей в таких сложных сетевых структурах. ## Метод Мы предлагаем подход, названный Adaptive Contrastive Edge Representation Learning (ACERL), который основывается на двух ключевых компонентах: 1) противопоставить сетевым парным контрастирующим выбором и 2) применение данных-зависимого адаптивного маскирования. В ACERL мы используем некоторые автономные методы для генерации расширенных сетевых пар, которые стимулируют способность модели к различным структурам. Адаптивное маскирование позволяет учитывать конкретные особенности каждого сетевого ребра, что улучшает его представление. Мы также устанавливаем теоретические ограничения на ошибки ACERL, что подтверждает его точность и эффективность. ## Результаты Мы проверили ACERL на синтетических данных, а также на данных реальных брайн-коннективностей. Метод показал высокую точность в задачах классификации сетей, выявления важных ребер и обнаружения сообществ. Кроме того, мы проверили, что ACERL демонстрирует лучшую точность по сравнению с традиционным методом, таким как Sparse Principal Component Analysis (SPCA). Эти результаты подтверждают эффективность и универсальность ACERL в различных сетевых задачах. ## Значимость Метод ACERL может быть применен в различных областях, включая анализ биологических сетей, классификацию данных и обнаружение групп. Он преобразовывает сложные высокомеричные сети в низкомерические пространства, что упрощает задачи классификации и обнаружения. Мы также отмечаем, что ACERL значительно улучшает качество прогнозирования и спарсинга в сетях спарсных структур. Это делает его применимым в сложных сетевых анализах, где традиционные методы не дают требуемого качества. ## Выводы Мы представляем новую методику ACERL для кодирования ребер сетей, которая эффективно работает в сложных сетевых структурах. Мы продемонстрировали его эффективность на синтетических данных и реальных сетях брайн

## Контекст Многомерные спектро- и спектро-временные данные широко распространены в различных областях науки и технологий, включая метеорологию, экологию, геологию и биологию. Однако их моделирование и прогнозирование представляют собой сложную задачу, поскольку эти данные часто имеют сложную структуру, включающую независимые компоненты, корреляции по времени и пространству, а также изменчивость. Классические методы, такие как PCA или ICA, не всегда эффективны для таких сложных задач. Нейронные сети, особенно вариационные автоэнкодеры, показали свою эффективность в решении подобных задач, но часто не обеспечивают идентификации линейных или нелинейных компонент. Необходимо разработать метод, который обеспечивает идентификацию компонентов и эффективно работает с нелинейными и нестационарными зависимостями. ## Метод Мы предлагаем идентифицируемый авторегрессионный вариационный автоэнкодер (Identifiable Autoregressive Variational Autoencoder, IAR-VAE), который использует авторегрессионные модели для описания нестационарных процессов внутри нейронной сети. Основная идея заключается в использовании вариационного автоэнкодера для декомпузирования входных данных, при этом компоненты данных обусловлены независимо друг от друга с учетом временных и пространственных зависимостей. Мы используем регуляризационные слои для обеспечения идентификации компонентов и убедиться, что каждая компонента может быть однозначно отображена на исходные данные. Метод протестирован на синтетических и реальных данных, включая данные о загрязнении воздуха и атмосферных условиях. ## Результаты Мы провели эксперименты на синтетических данных, которые подтвердили, что IAR-VAE эффективно разделяет нестационарные компоненты и обеспечивает идентификацию их значимости. Также мы проверили метод на данных по окружающей среде и погоде, где он показал отличные результаты по сравнению с другими современными методами. Например, на данных по загрязнению воздуха IAR-VAE показал значительно лучшую точность в прогнозировании, чем стандартные методы, такие как PCA или традиционные вариационные автоэнкодеры. ## Значимость Метод IAR-VAE может быть применен в различных областях, где требуется определить и моделировать нестационарные процессы в пространственно-временных данных. Он имеет приложения в климатических исследованиях, моделировании экологических процессов, прогнозировании атмосферных условий и других сложных задачах. Одним из основных преимуществ IAR-VAE является возможность однозначно определять компоненты, что делает его эффективным для решения задач с большим количеством переменных. Будущие исследования б

## Контекст В последние годы во многих научных областях, таких как медицина, экономика и социальные науки, становится все более распространенным сбор данных многомерного характера, содержащих различные типы переменных (например, количественные, категориальные и бинарные). Однако существуют ограничения в существующих методах кластеризации, так как они либо не учитывают локальную структуру данных, либо не учитывают связь между временными рядами. Это приводит к неточности в кластеризации и несоответствию реальным эмпирическим данным. Из-за этого необходимо разработать более точный и универсальный подход к кластеризации, который моделирует взаимосвязи между всевозможными типами переменных. ## Метод Модель Mixture of Mixed-Matrices (MMM) предлагает новый подход к кластеризации многомерных данных смешанного типа. Данные организуются в трехмерную структуру, где каждая переменная представляется в виде своего матричного представления. Для моделирования неконтинюальных переменных предполагается, что они являются наблюдениями за подчиненными непрерывными переменными. Модель основывается на смеси матричных-переменных нормальных распределений, чтобы выполнять кластеризацию в подпространстве латентных переменных. Эта модель может эффективно обрабатывать континюальные, ординальные, бинарные, номинальные и счетные данные, учитывая взаимосвязи, локальные зависимости и временную зависимость в пакетном режиме, не прибегая к условию условной независимости. Инференция в модели производится с помощью алгоритма MCMC-EM. ## Результаты Эксперименты с помощью синтетических данных показали, что модель MMM эффективно моделирует локальные и временные зависимости в многомерных данных смешанного типа. Она также успешно выполняет кластеризацию, даже в ситуациях с высокой степенью неоднородности в данных. На реальных финансовых данных показано, что модель хорошо приспособлена для обнаружения групп и оценки их структуры. Эти результаты подтверждают мощь MMM в обработке разнообразных типов данных и могут быть применены в различных научных и практических областях. ## Значимость МММ может быть применена во многих областях, таких как финансы, здравоохранение, экономика и социальные науки, где требуется анализ сложных многомерных данных. Особые преимущества заключаются в том, что модель может обрабатывать различные типы данных, учитывая их взаимосвязи и временные зависимости. Это означает, что MMM может предоставить более глубокие и точные результаты кластеризации, чем существующие методы. Будущими направлениями исследований будет повышение точности модели и её применение в более сложных реальных за

## Контекст Ranking and selection (R&S) — это подход, используемый для выбора оптимального альтернативного решения среди $k$ вариантов на основе их средних показателей производительности. Этот подход чрезвычайно важен для решения задач, требующих точного моделирования входных переменных. Однако это моделирование часто сталкивается с проблемой нехватки данных, что приводит к неопределенности ввода (curse of input uncertainty). Дистрибутивно robust ranking and selection (DRR&S) предлагает решение этой проблемы, используя неопределенность ввода через амбигуозный набор $m > 1$ допустимых распределений. Это приводит к $km$ сценариям, которые должны быть рассмотрены в процессе выбора. Недавние исследования DRR&S показали, что эффективность алгоритма крайне зависит от добротной аллокации ресурсов. Тем не менее, основные свойства такой аллокации, такие как ее согласованность и форма, остаются неясными. Настоящая работа основывается на этом понятии, предлагая новый подход к решению R&S-задач. ## Метод Мы предлагаем простую аллокационную процедуру (Additive Allocation, AA), которая направлена на увеличение эффективности R&S-процедур. Эта процедура призвана оптимально распределять ресурсы, ограничиваясь проблематичными $k + m - 1$ сценариями, которые могут быть критичными для выбора. Мы используем аргументы о пересечениях границ (boundary-crossing arguments) для доказательства производительности этого подхода. Кроме того, мы доказываем, что процедура AA обладает свойством согласованности и достигает добротности в смысле добавления: при увеличении ресурсов только $k + m - 1$ сценариев будут рассматриваться бесконечно часто. Это свойство нарушает предыдущие убеждения о критичности некоторых сценариев. Для улучшения практической эффективности мы предлагаем General Additive Allocation (GAA), которая интегрирует модульные правила выбора из традиционных R&S-процедур. ## Результаты Мы проводили эксперименты, используя различные симуляционные модели и наборы данных, чтобы проверить функционирование предложенных алгоритмов. Наши эксперименты подтвердили, что Additive Allocation позволяет достичь значительной экономии ресурсов, сохранив точность выбора оптимального варианта. GAA продемонстрировала улучшенную универсальность и гибкость, адаптируясь к различным условиям задачи. Наши результаты показали, что процедура AA не только эффективна, но и противоречит предыдущим предположениям о критичности некоторых сценариев. ## Значимость Наш подход может быть применен в различных областях, где необходимо выбирать оптимальные решения на основе симуляционных моделей. Например, в экономике, инженерии и медицине DRR&S используется для моделирования рисков и выбора лучших

#### Контекст Изменения в структуре динамических сетей часто отражают критические трансформации в крупных данных. Однако определение этих изменений, называемых "change points," представляет задачу не только статистики, но и вычислительной лихорадки. Задача возникает из-за необходимости определить типичные шаблоны, которые могут быть скрыты в сложных структурах. Это становится особенно сложной, когда сети не только меняются, но и имеют сложные структуры, такие как малоранговые и спарсовые изменения. Модель MOSAIC (Minimax-Optimal Sparsity-Adaptive Inference for Change Points in Dynamic Networks) была разработана для эффективного обнаружения таких изменений, учитывая эти сложности. #### Метод Модель MOSAIC включает в себя несколько ключевых технических решений. Она использует методы эффективного линейного приближения для изменений, включая теорию матричной разложимости и методы экстремального сжатия. В процессе моделирования, MOSAIC анализирует динамические сети с использованием метода "screened signals," который позволяет определять спарсовые изменения с минимальным усреднением. Это достигается в том числе с помощью теории мартингалов, которая позволяет гарантировать стандартную нормальную распределенность статистики. Также, MOSAIC включает в себя методы, позволяющие адаптироваться к конкретным типам изменений в сетях, независимо от их масштаба. #### Результаты Модель MOSAIC была проверена на симуляционных примерах и реальных данных. На основе этих экспериментов, было установлено, что она подходит к минимаксной границе детекции в динамических сетях, находясь в пределах логарифмического потери. Модель достигает полной силы при тестировании при наличии изменений, а также оптимальна при отсутствии изменений. Эта модель показала значительное преимущество по сравнению с другими существующими алгоритмами в плане точности и скорости работы. #### Значимость Модель MOSAIC может применяться в различных областях, где динамические сети имеют важную роль, таких как мониторинг финансовых маркетов, транспортных систем и биологических сетей. Она предоставляет преимущество в том, что способна обнаруживать изменения в сетях независимо от их сложности и масштаба. Это дает возможность для более точного и эффективного анализа данных, которая может иметь решающее значение в принятии решений в реальном времени. #### Выводы Модель MOSAIC достигла новых подходов к обнаружению изменений в динамических сетях, включая те, что имеют спарсовые и малоранговые структуры. Она была подтверждена эффективностью в ряде экспериментов и имеет потенциал для расширения полезности в приложениях, где дина

## Контекст Работа посвящена развитию методов многозадачного обучения (MTL), которые стремятся эффективно обучать несколько задач одновременно, совместно используя структуру, общую для всех задач. Однако, практическое применение таких методов часто ограничивается существующими проблемами, такими как наличие контamination (выбросов или адверсарных задач), неоднородность задач и недостаток предварительной информации о зависимости между задачами. Существующие подходы, в том числе и теоретические, часто основываются на предположении о чистых данных или незначительном количестве контamination. Фактический выбор в реальных ситуациях часто становится нарушенным, что приводит к подрыву эффективности таких методов. Целью данной работы является разработка метода, который может эффективно быть применен в ситуациях с подложенными задачами, незначительным количеством контamination и неоднородностью внутри задач. ## Метод Разработанный метод, Robust and Adaptive Spectral (RAS), является адаптивным и устойчивым по отношению к контamination. Он основывается на использовании спектральных методов для выделения основной группы взаимосвязанных задач, а также на адаптивном контроле того, как зависимость между задачами может быть выражена в данных. Метод не требует предварительного знания о количестве контamination или размерности общего пространства, что делает его универсальным и легким в реализации. Основной идеей заключается в том, что RAS адаптивно извлекает информацию из данных, не поддающихся влиянию контamination, и сохраняет точность, необходимую для эффективного обучения. ## Результаты Эксперименты для проверки подхода RAS проводились на различных синтетических и реальных данных, включая задачи классификации и регрессии. Для этих задач были созданы ситуации с разным уровнем контamination, включая адверсарные задачи и незначительность основного вклада задач. Результаты показали, что RAS показывает высокую точность и устойчивость, даже при 80% контamination. Также было проведено сравнение с другими подходами в MTL, показав преимущества RAS в области сильно загрязненных данных. ## Значимость Разработанный подход имеет широкие применения в области многозадачного обучения, где требуется хранить эффективность даже при высоком количестве контamination. Он может применяться в различных сферах, таких как обработка языка, моделирование экономических данных, и даже медицинской интеллектуальной обработке данных. Основное преимущество RAS заключается в его устойчивости к загрязненным данным, что позволяет избежать негативного переобучения, которое может быть вызвано контamination. Это открывает новые возможности для применения MTL в реальных, часто за

#### Контекст Обработка данных часто связана с использованием огромных наборов признаков, которые могут включать много нерелевантных и взаимосвязанных компонент. Это затрудняет использование многих алгоритмов машинного обучения, так как они могут сталкиваться с проблемами, такими как переобучение и высокая сложность вычислений. Целью многих методов feature selection является определение наиболее важных признаков, уменьшение размера набора данных и улучшение эффективности и точности алгоритмов. Однако, существующие методы часто не учитывают взаимозависимости между признаками или неэффективно используют зависимости с целевой переменной. #### Метод Предлагаемый метод, названный **Sparsified Minimum Redundancy Maximum Relevance (SmRMR)**, является подходом к feature selection, который учитывает как взаимосвязи между признаками, так и взаимосвязь между признаками и целевой переменной. Метод основан на минимуме ряда штрафов, использующих регуляризаторы, не являющиеся конвексивными, для отбора фичей, которые могут быть не значимы. Он использует не только зависимость между признаками (релевантность), но и их независимость от целевой переменной, чтобы идентифицировать "активные" признаки. Алгоритм построен на базе неконвексивного регуляризатора, который позволяет строить модели с меньшим числом признаков, но более точными. #### Результаты Чтобы проверить эффективность метода, проведены эксперименты с использованием синтетических данных и реальных данных, в которых были показаны преимущества SmRMR в сравнении с другими методами, такими как HSIC-LASSO. Данные эксперименты показали, что SmRMR не только способен определять активные признаки, но и уменьшает число ненужных признаков. Метод показал хорошие результаты в ситуациях, когда много признаков являются неактивными, что может повысить точность алгоритмов обучения. Однако, SmRMR более склонен к более консервативному выбору признаков, что в некоторых случаях может быть недостатком. #### Значимость Заявленный метод может быть использован в различных областях, где требуется выборка признаков, таких как биологическая инженерия, текстовый анализ, машинное обучение. Одним из преимуществ является то, что он не требует явного указания числа признаков для сохранения, в отличие от многих других методов. Также он показал хорошую способность идентифицировать неактивные признаки, что может сильно повысить эффективность моделей. Будущие исследования могут быть направлены на усовершенствование метода для обработки более сложных данных, таких как данные с высокой размерностью. #### Выводы Метод SmRMR является эффективным подходом к feature selection, который учитыва

## Контекст Область исследования критериев feature selection и importance estimation в моделях-независимых (model-agnostic setting) является важной и актуальной задачей в машинном обучении. Эти задачи играют ключевую роль при построении моделей, поскольку позволяют определить наиболее важные признаки, улучшая точность моделей и их прозрачность. Однако разработка модельно-независимых методов feature selection остается сложной, особенно когда требуется учитывать сложность моделей и высокие затраты вычислительных ресурсов. В настоящей работе авторы сосредоточились на feature selection методах, основанных на Generalized Covariance Measure (GCM) и Leave-One-Covariate-Out (LOCO) оценках. Эти методы широко используются, так как они могут быть применены к широкому классу моделей без ограничений на их внутреннюю архитектуру. Однако вопрос о том, какие из этих методов эффективнее в различных ситуациях, остается открытым. Наша мотивация заключается в сравнении этих методов с помощью показателя относительной эффективности и определении их преимуществ в разных моделях и условиях. ## Метод В ходе работы была проведена теоретическая и эмпирическая оценка двух методов feature selection: GCM и LOCO. Метод GCM основывается на измерении корреляции между признаками и целевой переменной, в то время как LOCO оценивает вклад каждого признака в модель, удаляя его по очереди и проверяя его влияние. Чтобы измерить относительную эффективность, авторы разработали теоретические результаты, основанные на трех различных моделях: линейных моделях, нелинейных аддитивных моделях и single-index моделях, которые моделируют некоторую сложность, похожую на single-layer neural network. Для практической оценки было проведено ряд симуляционных экспериментов и анализ реальных данных. Мы применили эти методы к различным машинным обучению алгоритмам, таким как градиентный бустинг деревьев и нейронные сети, чтобы проверить их эффективность в реальных условиях. Это позволило нам не только сравнить эффективность, но и оценить асимптотическую относительную эффективность каждого метода. ## Результаты Теоретические результаты показали, что GCM-методы обычно демонстрируют лучшую эффективность по сравнению с LOCO-методами при соблюдении определенных регулярных условий. Эти результаты были подтверждены эмпирическими исследованиями. Наши симуляции показали, что GCM-методы более эффективны в том случае, когда данные имеют сложную структуру, такую как аддитивные или нелинейные зависимости. Анализ реальных данных, включающий задачи классификации и регрессии, также поддерживает этот вывод. Наши результаты показали, что GCM-методы не только более эффективны, но и более устойчивы к выбо

## Контекст Одной из ключевых областей исследований в медицинских и клинических исследованиях является уточнение оптимальных динамических режимов лечения (optimal dynamic treatment regimes, ODTR) на основе данных с клиническими испытаниями. Несмотря на то, что многие методы, такие как Cox-based Q-learning, используются для оценки таких режимов, они часто сталкиваются с проблемами, такими как ограниченная способность обрабатывать сложные паттерны данных и устойчивость к биасу при неправильном моделировании. Дополнительно, в клинических испытаниях важна точность оценки результатов для уровней, таких как стадии лечения, чтобы избежать агрегирования биаса. Данная статья предлагает новую модель, BJ Boost Q learning, которая ориентирована на решение этих проблем, особенно в случае длительных клинических испытаний с правой законченностью (right censored survival data). ## Метод Метод BJ Boost Q learning основывается на интеграции Buckley James (BJ) boosting с методами Q-learning. Он использует модели accelerated failure time (AFT) для точного моделирования условной скорости выживаемости, что позволяет избегать проблем, связанных с неправильным моделированием. Метод также включает в себя iterative boosting, включая componentwise least squares и регрессионные деревья. Это позволяет производить более точную оценку Q-функций на каждой стадии лечения. Кроме того, BJ Boost Q learning не зависит от пропорциональных рисков (proportional hazards), что дает большую гибкость и устраняет биасы, которые могут возникать в классических подходах. ## Результаты Исследования показали, что BJ Boost Q learning выдает более точные результаты в задачах динамического лечения, особенно в сложных клинических ситуациях, когда данные подвержены законченности (right censoring). Для проверки работоспособности были проведены симуляционные эксперименты и анализ данных из ACTG175 HIV-триала. Эти исследования показали, что BJ Boost Q learning превышает современные методы, такие как Cox-based Q-learning, в точности оценки и быстродействии, особенно в многостадийных случаях, где существует риск агрегирования биаса. ## Значимость Благодаря своей гибкости и точности BJ Boost Q learning может быть применен в различных областях, включая клинические испытания, в которых необходимо оценивать динамические режимы лечения. Этот подход обеспечивает более точную индивидуализацию лечения и повышает достоверность результатов. Дальнейшие исследования могут сосредоточиться на расширении модели для учета новых факторов и интеграции с другими методами машинного обучения. ## Выводы BJ Boost Q learning представляет собой новую модель для оценки динамических режимов лечения, которая устраняет ограничения классических подходов. Результаты симуляций и клинического анализа демонстрируют высокую эффективность и точность этого метода,