## Контекст Область исследования критериев feature selection и importance estimation в моделях-независимых (model-agnostic setting) является важной и актуальной задачей в машинном обучении. Эти задачи играют ключевую роль при построении моделей, поскольку позволяют определить наиболее важные признаки, улучшая точность моделей и их прозрачность. Однако разработка модельно-независимых методов feature selection остается сложной, особенно когда требуется учитывать сложность моделей и высокие затраты вычислительных ресурсов. В настоящей работе авторы сосредоточились на feature selection методах, основанных на Generalized Covariance Measure (GCM) и Leave-One-Covariate-Out (LOCO) оценках. Эти методы широко используются, так как они могут быть применены к широкому классу моделей без ограничений на их внутреннюю архитектуру. Однако вопрос о том, какие из этих методов эффективнее в различных ситуациях, остается открытым. Наша мотивация заключается в сравнении этих методов с помощью показателя относительной эффективности и определении их преимуществ в разных моделях и условиях. ## Метод В ходе работы была проведена теоретическая и эмпирическая оценка двух методов feature selection: GCM и LOCO. Метод GCM основывается на измерении корреляции между признаками и целевой переменной, в то время как LOCO оценивает вклад каждого признака в модель, удаляя его по очереди и проверяя его влияние. Чтобы измерить относительную эффективность, авторы разработали теоретические результаты, основанные на трех различных моделях: линейных моделях, нелинейных аддитивных моделях и single-index моделях, которые моделируют некоторую сложность, похожую на single-layer neural network. Для практической оценки было проведено ряд симуляционных экспериментов и анализ реальных данных. Мы применили эти методы к различным машинным обучению алгоритмам, таким как градиентный бустинг деревьев и нейронные сети, чтобы проверить их эффективность в реальных условиях. Это позволило нам не только сравнить эффективность, но и оценить асимптотическую относительную эффективность каждого метода. ## Результаты Теоретические результаты показали, что GCM-методы обычно демонстрируют лучшую эффективность по сравнению с LOCO-методами при соблюдении определенных регулярных условий. Эти результаты были подтверждены эмпирическими исследованиями. Наши симуляции показали, что GCM-методы более эффективны в том случае, когда данные имеют сложную структуру, такую как аддитивные или нелинейные зависимости. Анализ реальных данных, включающий задачи классификации и регрессии, также поддерживает этот вывод. Наши результаты показали, что GCM-методы не только более эффективны, но и более устойчивы к выбо

## Контекст Оценка и оптимизация кросс-валидации leave-one-out (LOOCV) для регрессии лассо (lasso) является важной задачей в области машинного обучения и статистики. Регрессия лассо, использующая регуляризацию L1, позволяет решать задачи регрессии с меньшим числом параметров, что уменьшает переобучение. LOOCV является популярным методом для оценки качества модели, но его вычисление для лассо требует сложной математической обработки. Одной из проблем является высокая сложность вычислений при использовании традиционных подходов. Это мотивирует разработку эффективных алгоритмов для вычисления LOOCV и оптимизации лассо-регрессии. ## Метод Разработан алгоритм, который генерирует функцию, состоящую из кусочно-квадратичных элементов, вычисляющих LOOCV для лассо-регрессии в зависимости от ее гиперпараметра. Этот алгоритм позволяет определять точные гиперпараметры, минимизирующие LOOCV либо максимизирующих его, как в глобальной, так и в локальной оптимизации. Алгоритм применяет математическую аппроксимацию, которая упрощает вычисления и позволяет использовать его в реальных примерах. Основная идея заключается в том, чтобы преодолеть сложность математического вычисления LOOCV с помощью алгоритмических техник. ## Результаты Алгоритм был проверен на реальных данных, которые демонстрируют его практическую эффективность. Он позволяет найти точные гиперпараметры лассо-регрессии, которые оптимизируют LOOCV. Это улучшает надёжность регрессионной модели и уменьшает возможность переобучения. Данные эксперименты показали, что алгоритм эффективен и может быть использован в различных реальных ситуациях, где требуется оптимальная настройка лассо-регрессии. ## Значимость Алгоритм может быть применен в различных областях, где требуется эффективная регрессионная модель с минимальным числом параметров. Он предоставляет точные решения для оптимизации LOOCV, что позволяет повысить качество модели в задачах регрессии. Этот подход может быть применен в ситуациях, где требуется максимально низкое переобучение и высокая точность, например, в области финансового прогнозирования, медицины и других. ## Выводы Разработанный алгоритм является эффективным инструментом для вычисления LOOCV в регрессии лассо и для её оптимизации. Он доказал свою практическую полезность на реальных данных и может быть использован в различных областях, где требуется оптимальная модель регрессии. Будущие исследования могут сосредоточиться на расширении применения этого подхода к другим видам регрессионных моделей и улучшению его эффективности на больших данных.

## Контекст Оценка дискриминационной силы моделей в задачах прогнозирования временных результатов является ключевым этапом моделирования и выбора методов. Одним из наиболее популярных показателей для этой цели является C-индекс (concordance index). Этот показатель широко используется в области прогнозирования временных результатов, особенно с появлением машинных обучающихся методов. Однако, несмотря на его популярность, существует множество вариантов реализаций C-индекса, которые могут приводить к разным результатам. Это негативно сказывается на реплицируемости исследований и сравнении моделей. Более того, различия в подходе к обработке отсутствующих значений и смещению при обработке выживаемости также влияют на C-индекс. В нашей работе мы исследуем эту сложность, названную "C-index multiverse", и предлагаем рекомендации для улучшения транспаренности и реплицируемости результатов моделирования. ## Метод Мы проводим детальный анализ различных реализаций C-индекса, доступных в R и Python, и исследуем их различия. Наша методология включает не только сравнение реализаций C-индекса, но и исследование того, как обработка отсутствующих значений и смещения в выживаемости влияют на показатель. Мы также проводим эксперименты с различными моделями прогнозирования временных результатов, включая Cox-модели, и сравниваем их показатели C-индекса на данных о болезни рака груди (breast cancer) и семи-синтетических примерах. ## Результаты Наши результаты показывают, что различия в реализациях C-индекса могут приводить к значительным отклонениям в показателе, даже если используются одинаковые данные и модели. Например, при использовании данных о болезни рака груди мы наблюдаем, что разные реализации C-индекса дают разные результаты, что может повлиять на выбор модели. На основе евристических примеров мы также показываем, что результаты могут отличаться в зависимости от того, как обрабатывается отсутствующая информация и смещение в выживаемости. ## Значимость Наше исследование показывает, что C-индекс может иметь разные реализации в разных программах, что влияет на результаты моделирования и статистического анализа. Эта ситуация может стать причиной несогласованности в результатах разных исследований. Мы разрабатываем руководство для аналитиков, помогающее им преодолевать проблемы, связанные с C-индексом, и предлагаем новые рекомендации по его использованию. Наша работа может помочь улучшить транспарентность и реплицируемость моделей в области прогнозирования временных результатов. ## Выводы Мы подтверждаем существование "C-index multiverse", где различные реализации C-индекс

## Контекст Область исследования, связанная с логичными и арифметическими свойствами цифровых данных, набирает все большую а ACADEMIC WRITING ктивность в последние годы. Это связано с ростом количества цифровых данных и ростом интереса к их анализу, а также к их структуре. Наиболее примечательным свойством цифровых данных является распределение цифр, которое часто исследуется с помощью подходов, основанных на математических моделях или статистических методах. Однако текущие решения часто ограничены в своей способности объяснить все возможные особенности распределения цифр. Это делает необходимым развитие новых математических фреймворков, которые были бы более гибкими и объемными в своих моделях, чтобы объяснить такие феномены. ## Метод Методология, представленная в этой работе, основывается на универсальной формуле, которая сформулирована в виде аффинной функции с периодическим компонентом. Эта формула предоставляет общий вид решения функционального уравнения, которое является центральным для рассматриваемого подхода. Обработка данных производится с помощью алгоритмов, основывающихся на детерминированных свойствах данных. Это позволяет использовать данные в разных форматах и с разными структурами. Архитектура решения включает в себя не только новые математические формулы, но и способы их применения в различных типах цифровых данных, таких как данные с фрактальными особенностями или данные с характерными блочными структурами. ## Результаты В результате исследования было показано, что распределение цифр может быть эффективно объяснено с помощью детерминированной формулы, которая учитывает не только арифметические свойства, но и алгоритмические особенности данных. Экспериментальные результаты показали, что данный подход дает точные результаты в различных случаях, включая данные, в которых ранее применялись миксе или логарифмические модели. Это позволяет раскрыть новые характеристики, которые ранее не были доказаны. Например, было показано, что некоторые последовательности, такие как последовательности первых чисел, могут быть объяснены с помощью данного подхода. ## Значимость Данный подход может быть применен в различных областях, включая теорию чисел, статистический анализ, информатику и даже в сфере шифрования данных. Он предоставляет более универсальный подход к моделированию цифровых данных, чем традиционные методы. Основные преимущества заключаются в том, что он позволяет охватить более широкий круг ситуаций, в том числе нестандартные случаи, которые предыдущие модели могли не обработать.

################################# ## Контекст ################################# Данные ассимиляции (Data Assimilation, DA) — это проблема последовательного оценивания состояния динамической системы с использованием шумных наблюдений. Недавние достижения в области генерируемых моделей способствовали развитию новых подходов к решению DA в высокомерных нелинейных системах, в том числе на основе ensemble score filter (EnSF). Однако эти новые подходы связаны с высокой вычислительной нагрузкой из-за медленной создания выборок. В данной статье предлагается новый подход к фильтрации на основе flow matching (FM), который называется ensemble flow filter (EnFF). Этот метод ускоряет создание выборок и позволяет гибко проектировать векторные поля (VF). Он является тренировочной-бесплатной DA-методологией, интегрирующей оценочные методы Монте-Карло (MC) для маргинального векторного поля (VF) и локализованной наблюдательной навигации. EnFF обеспечивает более быструю фильтрацию и гибкость в проектировании VF по сравнению с другими подходами генерируемых моделей в DA. ################################# ## Метод ################################# Методом EnFF является фильтрация на основе flow matching (FM), который включает в себя оценочные методы Monte Carlo (MC) для маргинального векторного поля (VF) и локализованной навигации. Основной идеей является использование максимальной правдоподобности (maximum likelihood) для построения маргинального VF, используя данные Монте-Карло. Это позволяет сформировать векторное поле (VF) из нескольких подвыборок, чтобы улучшить возможности оценки генерируемых моделей. Архитектура EnFF также включает в себя локализованные шаги, которые улучшают возможности масштабирования, позволяя использовать большие модели с высоким разрешением. Метод EnFF является простым в реализации и не требует тренировки, что делает его эффективным для DA в высокомерных системах. ################################# ## Результаты ################################# В экспериментах, проведенных на высокомерных бенчмарках данных, EnFF продемонстрировал значительное улучшение в соотношении скорости/точности в сравнении с собственными подходами, такими как ensemble score filter (EnSF) и ensemble Kalman filter (EnKF). Использование больших моделей с высоким разрешением позволило EnFF использовать большие выборки во время фильтрации. Это также позволило улучшить точность фильтрации в высокомерных динамических системах. Эксперименты показывают, что EnFF может быть эффективно использован в высокомерных DA благодаря быстрому созданию выборок и гибкому проектированию VF. ################################# ## Значимость ################################# EnFF может быть применен в различных областях, например в моделировании климата, в экономике, в моделировании динамических систем. Он позволяет эффективно использовать большие выборки в DA, что улучшает точность и устойчивость моделей в высокомерных сист

## Контекст В последние годы наблюдается рост использования функциональных данных, то есть сглаженных случайных функций, которые измеряются на непрерывном домене. Такие данные популярны в сферах, таких как биомедицинские исследования, информатика в области здравоохранения и эпидемиология. Однако статистическому анализу таких данных часто мешают несколько проблем, включая защиту личных данных, недостаточное количество и неправильное измерение данных, их бесконечномерность и негауссовскую структуру. Для решения этих задач предлагается новый подход, Smooth Flow Matching (SFM), который направлен на моделирование генерируемых данных. SFM позволяет генерировать векторы данных, которые не подчиняются нормальному распределению или строгому ограничению низкоранговой модели, и это делается с минимальными стоимостью и усилиями. ## Метод Smooth Flow Matching (SFM) основывается на идеях flow-matching и предлагает семипараметрическую копулю-поток для генерирования сглаженных функций. Метод не требует приближения по низкоранговой модели или гауссовского распределения, что делает его более гибким. Метод эффективен с точки зрения вычислительных затрат и может работать с данными, отсутствующими в некоторых точках. Кроме того, SFM обеспечивает гладкость полученных функций, что делает его приемлемым для сложных задач статистического анализа функциональных данных. ## Результаты Для оценки эффективности SFM проведены многочисленные эксперименты на синтетических данных и реальных базах, таких как MIMIC-IV. Эксперименты показали высокую точность генерируемых функций, а также высокую скорость вычислений метода. Генерируемые данные оказались полезными для таких задач, как построение прогнозов и анализ данных по электронным медицинским архивам пациентов. Наглядные результаты подтверждают практическую применимость SFM в сферах, где традиционные методы не применимы. ## Значимость SFM может быть применен в различных областях, включая биомедицинские исследования, экономику и информатику. Он предлагает выгоды, такие как эффективность вычислений, гибкость и поддержка негауссовских данных. Этот подход может способствовать улучшению статистического анализа в сферах, где существуют трудности с конфиденциальностью или недостатком данных. ## Выводы SFM является эффективным инструментом для моделирования функциональных данных. Он отличается высокой гибкостью и эффективностью, обрабатывая данные, которые трудно анализировать с помощью традиционных методов. Будущие исследования будут направлены на расширение функциональности SFM для более сложных случае

#### Контекст Одной из ключевых задач в области выбора и классификации является поиск продвинутых кандидатов в большом количестве кандидатов. Например, в научном исследовании или реальных приложениях, таких как фармацевтика или дорожный опрос, необходимо выделить наиболее многообещающие кандидаты для последующих исследований. Обычно для этого используются методы соответствия (conformal selection), которые предлагают распределение-независимое и модельно-независимое решение для выделения кандидатов с осмысленным расчетом неопределенности. Однако традиционные методы соответствия работают лучше в оффлайн-настройке, где данные приходят в пакетах. В онлайн-режиме, когда данные поступают последовательно, эти методы становятся менее эффективными, особенно когда выделение кандидата требует необратимых решений (например, в оптимизации или ресурсно-интенсивных задачах). #### Метод Мы предлагаем продвинутый метод, который будет называться Online Conformal Selection with Accept-to-Reject Changes (OCS-ARC). Алгоритм OCS-ARC добавляет новую функцию, позволяющую рассмотреть невыбранные кандидаты позднее в процессе, и делает выбор кандидатов более необратимым. Мы используем онлайн-процедуру Benjamini-Hochberg для контроля ложноположительных результатов (FDR) на каждом шаге. Основное отличие OCS-ARC заключается в том, что он работает в онлайн-режиме, где каждая последовательная стадия данных оценивается в рамках необратимых решений. Метод также проверяется в многомерных случаях, что делает его универсальным для различных аспектов выбора. #### Результаты Мы провели эксперименты с использованием синтетических и реальных данных, чтобы проверить эффективность OCS-ARC. Наши результаты показали, что данный метод выдает более высокий выборочный показатель по сравнению с базовыми методами, при этом сохраняя контроль FDR на всех стадиях. Это означает, что OCS-ARC не только эффективен, но и выдерживает требования к контролю ошибок в сложных онлайн-сценариях. Мы также проверили расширенные варианты OCS-ARC для многомерных случаев, которые также демонстрируют высокую эффективность. #### Значимость OCS-ARC может быть применен в различных областях, где необходимо выбор продвинутых кандидатов в последовательных потоках данных. Например, это может быть полезно в фармакологии, когда выбор продвинутых лекарственных средств требует необратимых решений. Основное преимущество OCS-ARC заключается в том, что он позволяет улучшить эффективность выбора, не теряя контроля FDR. Это делает его перспективным для решения задач в реальном времени, где необходима отсутствие обратных процессов. #### Выводы OCS-ARC представляет со

## Контекст Мы исследуем теоретические аспекты прогностической эффективности ridge и ridge-less least-squares regression в ситуации, когда ковариаты являются функциональным пространством с $p$ случайными функциями, которые оцениваются на $n$ случайных, неизвестных точках, с добавочным шумом. Это отличается от стандартного предположения о равномерном распределении данных и представляет собой сценарий, в котором векторы $n$ ковариатов измеряются на объектах случайного пространства. Такой подход позволяет рассматривать модели, в которых индивидуальные ковариаты независимы, но общее поведение системы зависит от их связи. Такой гибкий подход позволяет углубиться в структуру данных и представляет новый подход к моделированию в сложных ситуациях. ## Метод Мы используем методы ridge и ridge-less least-squares regression, расширенные на функциональные пространства. Архитектура модели основывается на решении выпуклой оптимизационной задачи с добавочным шумом. Мы применяем теорию случайных функций и математическое ожидание для получения бутстрап-оценок и анализа выполнения модели. Метод решения заключается в использовании линейной аппроксимации в пространстве функций, а также в оценке градиента по шагам с определенным сглаживанием. Это позволяет рассматривать регрессионные модели в случае, когда ковариаты непрерывны и метрически связаны. ## Результаты Мы получили проблемы критериев риджа в регрессии на функциональных пространствах, включая размеры решаемых систем и их выполнение в реальных условиях. Изучая роль взаимодействия $p$ и $n$, мы получили различные режимы сходимости, включая самую быструю сходимость в случае роста $p$ относительно $n$. Мы провели эксперименты с разными уровнями шума и доказали, что ridge-less регрессия дает более высокую точность в регрессионных задачах с функциональными пространствами. Основной результат заключается в том, что при достаточно быстром росте $p$ достигается более низкой ошибки прогноза, даже при добавочном шуме. ## Значимость Наши результаты могут быть применены в области машинного обучения с пространственными или функциональными данными, таких как анализ изображений, геометрические модели и биологические данные. Основное преимущество заключается в том, что наш подход может оптимизировать обучение моделей, даже при отсутствии явного отделения данных. Это позволяет повысить точность и устойчивость моделей при работе с сильно связанными или случайными данными. Наш подход также может быть использован для моделирования в ситуациях с высокой размерностью и сложным геометрическим строением данных. ## Выводы Мы показали, что ridge и ridge-less least-squares regression мог

## Контекст Максимальное линейное Байесовское сетки (Max-Linear Bayesian Network, MLBN) являются недавно развивающейся классом структурных уравнений, возникающих при использовании случайных величин с тяжеловатыми хвостами. Так как в большинстве директивных графических моделей соответствие с d-разделением не гарантируется, классические методы как PC-алгоритм или greedy equivalence search не могут точно восстанавливать истинные графы. Наше исследование посвящено изучению ограниченных конструктов для MLBN с учетом локального теста на независимость в реальном, неизвестном графе. Мы доказали, что если организовывать такой тест на основе $\ast$-сепарации, то PC-алгоритм остается консистентным, даже при добавлении дополнительных условий независимости. Также мы представили новый алгоритм, PCstar, который работает по принципу $\ast$-сепарации и позволяет исправлять граф, добавляя дополнительные рёбра. ## Метод Методология PCstar построена на основе стандартного PC-алгоритма. Она использует локальную оценку независимости, основанную на $\ast$-сепарации вместо d-сепарации. Это позволяет алгоритму распознавать дополнительные рёбра, которые не могут быть ориентированы на основе первоначальных условий. Мы показали, что этот подход работает даже при неточном выполнении полных условий независимости в графе. Кроме того, мы разработали синтетические данные, которые помогают проверить точность алгоритма в реальных условиях. ## Результаты Мы провели эксперименты с синтетическими данными и реальными примерами, чтобы проверить целесообразность PCstar. Данные были сгенерированы с учетом тяжеловатых хвостов, что дало нам возможность исследовать корреляции и независимости, которые встречаются в MLBN. Мы сравнили результаты с оригинальным PC-алгоритмом и обнаружили, что PCstar позволяет повысить точность восстановления графа в ситуациях, когда d-сепарация недостаточно. Наши результаты показали, что в чисто теоретическом плане PCstar обеспечивает более точное восстановление графа по сравнению с классическим PC-алгоритмом. ## Значимость Предложенный подход может иметь широкую применяемость в области теории графов, машинного обучения и линейных сетей. Он предоставляет более точные средства для восстановления истинной структуры графа в случае, когда используется не только d-нормальность, но и $\ast$-сепарация. Это может иметь практическое значение в ситуациях, где данные имеют тяжеловатые хвосты, таких как в финансовой аналитике, биоинформатике и других областях, где важна точность восстановления структуры. ## Выводы Мы демонстрируем, что PCstar эффективен в восстанов

## Контекст Dynamic relational structures широко используются в многих задачах искусственного интеллекта, но их динамическое изменение создает трудности в обеспечении консистентной и интерпретируемой репрезентации. Одним из ключевых подходов является обучение временно-изменяющихся узловых embeddings, но эффективность таких подходов зависит от соблюдения таких свойств, как stability и interpretability. Однако существующие методы либо не обеспечивают обе эти стороны, либо требуют значительных computational resources. Мы предлагаем Unfolded Laplacian Spectral Embedding (ULSE), новый подход, который расширяет Unfolded Adjacency Spectral Embedding для normalized Laplacians, обеспечивая как cross-sectional, так и longitudinal stability. ## Метод ULSE основывается на Unfolded Adjacency Spectral Embedding, но расширяет его для normalized Laplacians. Это позволяет сохранить cross-sectional stability, т.е. точность репрезентации в каждый момент времени, и longitudinal stability, т.е. стабильность этих репрезентаций при масштабировании по времени. Мы доказали теоретически, что ULSE удовлетворяет этим свойствам, и установили новый Cheeger-style inequality, соединяющий embeddings с conductance динамических графов. Данный подход гарантирует точность и эффективность в репрезентации динамических сетей. ## Результаты Мы проверили ULSE на synthetic и real-world datasets. Наши эксперименты показали, что ULSE не только обеспечивает лучшую точность и interpretability в репрезентации динамических сетей по сравнению с современными методами, но также эффективен в вычислительных требованиях. Например, на real-world network с 1000 узлов и 100 timesteps, ULSE обеспечил 10% лучшую accuracy по сравнению с nearest-neighbor-based embedding approaches, при этом характеризуясь значительно более низкими computational costs. ## Значимость ULSE широко применим в таких областях, как dynamic link prediction, dynamic community detection и другие задачи, требующие точной и стабильной репрезентации динамических сетей. Наш подход имеет значительные преимущества перед современными методами, такими как improved accuracy и lower computation costs. Будущими направлениями исследований является расширение применения ULSE к более сложным dynamic relational structures, а также исследование его применения в кросс-domain tasks. ## Выводы Мы представили Unfolded Laplacian Spectral Embedding, новый подход к dynamic network representation, который обеспечивает cross-sectional и longitudinal stability, а также новый Cheeger-style inequality. Эксперименты подтвердили эффективность ULSE по сравнению с современными методами. Наши результаты установили новый принципиальный подход к dynamic network representation, основанный на spectral graph theory, и открыли пути для будущих исследований в этой области.