📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Nathan Doumèche, Francis Bach, Gérard Biau, Claire Boyer

## Контекст Обучение с поддержкой экспертного знания (kernel methods) широко применяется в статистическом обучении за счет их высокой точности и гибкости. Однако их квадратичная сложность в зависимости от размера выборки ограничивает их применение в задачах обработки больших данных. Это ограничение налагает значительные ограничения на использование kernel methods в практических задачах, где данные часто имеют миллионы или даже миллиарды объектов. Целью данной работы является развитие методов, позволяющих решить эту проблему, обеспечивая высокую скорость и эффективность вычислений без потери точности. ## Метод Предлагаемая система основывается на представлении ядер через спектр частот, используя Фурье-трансформацию. Это позволяет перейти от вычислений на пространстве выборки к вычислениям в пространстве частот, где вычисления значительно быстрее. Для того, чтобы ускорить и улучшить точность, вводятся неравномерные вычисления (non-uniform fast Fourier transform, NUFFT), которые позволяют обрабатывать данные не только в центре, но и в периферии выборки. Эта архитектура полностью интегрирует процессоры графического уровня (GPU), чтобы добиться максимальной скорости и эффективности. Метод применяется в трех сценариях: регрессионной модели Шоблева, физико-ориентированной регрессии и модели, состоящие из нескольких компонент. ## Результаты Набор экспериментов показал, что предлагаемые методы обеспечивают очень высокую скорость обработки данных, обрабатывая до десятков миллиардов примеров в минуту. Это достигается без потери точности, так как методы соответствуют минимаксным скоростям сходимости, которые стандартны в теории kernel methods. Эксперименты проводились на различных видах данных, в том числе малых и очень больших выборках, чтобы продемонстрировать гибкость и стабильность методов. ## Значимость Предлагаемые методы могут быть применены в многочисленных областях, где требуется обработка больших данных, включая искусственный интеллект, физические модели, биологию и другие науки. Они обеспечивают высокую скорость и точность, что делает их выглядит более эффективными, чем многие существующие подходы. Благодаря использованию GPU, этот подход значительно увеличивает скорость обработки данных, что может привести к существенным экономиям в ресурсах и времени. ## Выводы Предлагаемая работа развивает новый подход к методам ядерной регрессии, который обеспечивает высокую скорость и эффективность для задач обработки больших данных. Результаты экспериментов подтверждают эффективность метода. Будущие исследования будут сфокуси
Annotation:
Kernel methods are powerful tools in statistical learning, but their cubic complexity in the sample size n limits their use on large-scale datasets. In this work, we introduce a scalable framework for kernel regression with O(n log n) complexity, fully leveraging GPU acceleration. The approach is based on a Fourier representation of kernels combined with non-uniform fast Fourier transforms (NUFFT), enabling exact, fast, and memory-efficient computations. We instantiate our framework in three set...
ID: 2509.02649v1 stat.ML, cs.LG, math.ST, stat.ME, stat.TH
Авторы:

Xiaohan Wang, Yang Ning

## Контекст В области машинного обучения и статистики возникают часто задачи, требующие передачи знаний из одной области (или задачи) в другую, где данные или условия не полностью совпадают. Этот процесс, известный как **transfer learning**, применяется для улучшения производительности моделей на новых данных, особенно когда доступны мало обучающих примеров в новой области. Одна из сложных проблем в этой области — оценка индивидуальных персонализированных правил лечения (Individualized Treatment Rules, ITRs). Традиционные подходы к оценке ITRs опираются на выборку, соответствующую конкретной области, и могут неэффективно работать при смене условий или доступа к новым данным. Наша исследовательская мотивация заключается в развитии методов, позволяющих эффективно переносить знания из одного контекста в другой, особенно в случае изменения правил решения (decision rule drift). ## Метод Мы развиваем фреймворк **transfer learning** для задач классификации, основываясь не на регрессионных функциях, а на **decision rules** (более естественном представлении решений). Методология основывается на моделировании **posterior drift** (изменений в данных или условиях) с помощью **Bayes decision rules**. Мы предлагаем новую технику, где решение преобразуется в **low-dimensional empirical risk minimization problem**, используя геометрическую трансформацию **Bayes decision boundary**. Это позволяет эффективно адаптировать модели к новым условиям, сохраняя гибкость и точность. Мы также устанавливаем условия консистентности и оцениваем оптимальные решения, используя теорию математической статистики. ## Результаты Мы проводим подробные эксперименты на **симуляционных данных** и **реальных задачах**, включая приложение к оценке **optimal individualized treatment rules (ITRs)**. Наши результаты показывают, что предложенный подход не только эффективно адаптируется к **decision rule drift**, но и превосходит традиционные методы по метрикам производительности и сохраняет низкий **risk bound**. Мы также проводим анализ, показывающий широту применения нашего подхода, включая сценарии с ресурсными ограничениями и высокой динамикой изменений. ## Значимость Наш подход имеет распространенное применение в сферах **клинической медицины**, **рекламы**, **финансов** и **робототехники**, где изменения условий часто приводят к изменений в правилах решений. Он предоставляет преимущества в **доступности ресурсов**, **гибкости**, и **качестве решений**. Мы также отмечаем, что наш подход может способствовать развитию **personalized medicine**, где требуется функционально подстраиваться под индивидуальные пациентские факторы. ## Выводы Мы успешно расширяем фреймворк **transfer learning** для задач классификации, когда возникает изменение правил решений. Наш метод показывает сильную поддержку **теоретическими до
Annotation:
In this paper, we extend the transfer learning classification framework from regression function-based methods to decision rules. We propose a novel methodology for modeling posterior drift through Bayes decision rules. By exploiting the geometric transformation of the Bayes decision boundary, our method reformulates the problem as a low-dimensional empirical risk minimization problem. Under mild regularity conditions, we establish the consistency of our estimators and derive the risk bounds. Mo...
ID: 2508.20942v1 stat.ML, cs.LG, math.ST, stat.ME, stat.TH
Авторы:

Jianqing Fan, Soham Jana, Sanjeev Kulkarni, Qishuo Yin

## Контекст Оценка среднего эффекта лечения (ATE) — важная задача в медицине, экономике и социальных науках, которая позволяет определять влияние некоторого лечения или воздействия на группу людей. Существуют сложности при оценке ATE, в том числе из-за высокой размерности данных, высокой корреляции признаков и существования спарших нелинейных эффектов в моделях пропensity и результата. Эти модели часто являются высоко-мерной и нетривиальной, что создает вызовы для существующих методов. Необходимо разработать метод, который может эффективно работать с такими характеристиками данных. ## Метод Мы предлагаем Double Deep Learning подход, который объединяет недавно разработанные factor-augmented deep learning-based estimators, FAST-NN, для оценки результата и модели наиболее вероятности. FAST-NN делает это непараметрически, используя глубокие нейронные сети для выбора значимых признаков и адаптивного уменьшения размерности моделей. Основываясь на этом, мы предлагаем FIDDLE (Factor Informed Double Deep Learning Estimator), который использует augmented inverse propensity weighting (AIPW) для оценки ATE. Этот подход обеспечивает глубокую адаптивность для выбора признаков и моделирования, что дает ему высокую точность и гибкость. ## Результаты Мы проводили ряд экспериментов на синтетических и реальных данных, показав высокую точность FIDDLE в оценке ATE. Мы использовали различные модели, включая сложные, высоко-мерные и спаршные. Наши результаты показали, что FIDDLE обеспечивает более точные оценки в сравнении с другими существующими методами, особенно когда размер данных и размерность признаков высоки. Мы также продемонстрировали, что FIDDLE поддерживает гибкость в работе с различными моделями и может восстанавливать ATE даже при потенциальной неверной модели. ## Значимость Наш метод широко применим в медицинских исследованиях, экономических моделях и других областях, где важно оценить влияние внешних факторов на результаты. FIDDLE обеспечивает высокую точность и устойчивость при работе с высоко-мерными и спаршными данными, что делает его предпочтительным в сложных задачах. Благодаря использованию нейронных сетей, FIDDLE может адаптироваться к различным условиям данных, что делает его гибким и мощным инструментом. ## Выводы Мы представили FIDDLE — новый подход к оценке ATE, который объединяет нейронные сети и factor-augmented deep learning. Этот метод доказал свою эффективность в сложных задачах, особенно если данные высоко-мерны. Мы планируем продолжать развивать этот подход, оптимизировав его для работы с более сложными моделями и применяя его в реальных задачах.
Annotation:
We investigate the problem of estimating the average treatment effect (ATE) under a very general setup where the covariates can be high-dimensional, highly correlated, and can have sparse nonlinear effects on the propensity and outcome models. We present the use of a Double Deep Learning strategy for estimation, which involves combining recently developed factor-augmented deep learning-based estimators, FAST-NN, for both the response functions and propensity scores to achieve our goal. By using ...
ID: 2508.17136v1 stat.ML, cs.LG, math.ST, stat.ME, stat.TH, 62G08, 62G20
Авторы:

Vladimir Berman

## Контекст Область исследования, связанная с логичными и арифметическими свойствами цифровых данных, набирает все большую а ACADEMIC WRITING ктивность в последние годы. Это связано с ростом количества цифровых данных и ростом интереса к их анализу, а также к их структуре. Наиболее примечательным свойством цифровых данных является распределение цифр, которое часто исследуется с помощью подходов, основанных на математических моделях или статистических методах. Однако текущие решения часто ограничены в своей способности объяснить все возможные особенности распределения цифр. Это делает необходимым развитие новых математических фреймворков, которые были бы более гибкими и объемными в своих моделях, чтобы объяснить такие феномены. ## Метод Методология, представленная в этой работе, основывается на универсальной формуле, которая сформулирована в виде аффинной функции с периодическим компонентом. Эта формула предоставляет общий вид решения функционального уравнения, которое является центральным для рассматриваемого подхода. Обработка данных производится с помощью алгоритмов, основывающихся на детерминированных свойствах данных. Это позволяет использовать данные в разных форматах и с разными структурами. Архитектура решения включает в себя не только новые математические формулы, но и способы их применения в различных типах цифровых данных, таких как данные с фрактальными особенностями или данные с характерными блочными структурами. ## Результаты В результате исследования было показано, что распределение цифр может быть эффективно объяснено с помощью детерминированной формулы, которая учитывает не только арифметические свойства, но и алгоритмические особенности данных. Экспериментальные результаты показали, что данный подход дает точные результаты в различных случаях, включая данные, в которых ранее применялись миксе или логарифмические модели. Это позволяет раскрыть новые характеристики, которые ранее не были доказаны. Например, было показано, что некоторые последовательности, такие как последовательности первых чисел, могут быть объяснены с помощью данного подхода. ## Значимость Данный подход может быть применен в различных областях, включая теорию чисел, статистический анализ, информатику и даже в сфере шифрования данных. Он предоставляет более универсальный подход к моделированию цифровых данных, чем традиционные методы. Основные преимущества заключаются в том, что он позволяет охватить более широкий круг ситуаций, в том числе нестандартные случаи, которые предыдущие модели могли не обработать.
Annotation:
This article presents a modern deterministic framework for the study of leading significant digit distributions in numerical data. Rather than relying on traditional probabilistic or mixture-based explanations, we demonstrate that the observed frequencies of leading digits are determined by the underlying arithmetic, algorithmic, and structural properties of the data-generating process. Our approach centers on a shift-invariant functional equation, whose general solution is given by explicit aff...
ID: 2508.13237v1 stat.ML, cs.LG, math.ST, stat.ME, stat.TH
Показано 11 - 14 из 14 записей