📊 Статистика дайджестов

Всего дайджестов: 34123 Добавлено сегодня: 101

Последнее обновление: сегодня
Авторы:

Amandip Sangha

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We present a geometric formulation of automatic differentiation (AD) using jet bundles and Weil algebras. Reverse-mode AD emerges as cotangent-pullback, while Taylor-mode corresponds to evaluation in a Weil algebra. From these principles, we derive concise statements on correctness, stability, and complexity: a functorial identity for reverse-mode, algebraic exactness of higher-order derivatives, and explicit bounds on truncation error. We further show that tensorized Weil algebras permit one-pa...
ID: 2510.14342v1 cs.LG, math.DG, stat.ML
Авторы:

Albert Kjøller Jacobsen, Johanna Marie Gegenfurtner, Georgios Arvanitidis

## Контекст Область исследования сосредоточена на изучении методов применения геометрически ориентированного шума во время обучения глубоких нейронных сетей. Данный подход направлен на улучшение регуляризации, обеспечения гладкости моделей и улучшения их общей устойчивости и точности. Однако, существующие исследования сфокусированы на добавлении амбиентного шума в входном пространстве, не учитывая особенности низкорангового многообразия, на котором лежит данные. Работа предлагает новые методы геометрически ориентированной инъекции шума, которые учитывают эту структуру. Это необходимо для решения проблем, связанных с высокой кривизной многообразий, на которых обучаются нейронные сети. ## Метод Метод предлагает добавлять шум в входные данные в том пространстве, которое соответствует низкоранговому многообразию, на котором данные лежат. Это достигается путем проекции гауссовского шума на локальное тангенциальное пространство многообразия. Далее, этот шум маппится на многообразие с помощью геодезической кривой. Также рассматривается шум в виде Броуновского движения, который делает случайные шаги вдоль геодезических кривых. Это позволяет сохранить геометрические особенности многообразия и улучшить генерализацию моделей. ## Результаты Изучены эффекты разных видов шума на нескольких многообразиях с разной кривизной. Эксперименты показали, что геометрически ориентированный шум существенно улучшает производительность моделей на высококривых многообразиях, увеличивая их общую устойчивость и точность. На простых многообразиях результаты находятся на уровне с обучением без добавления шума. Эксперименты также показали, что шум не влияет на скорость обучения и может быть эффективно применен как на предобработанных, так и на любых других многообразиях, созданных с помощью глубоких нейронных сетей. ## Значимость Предложенный подход может быть применен в различных областях, где необходимо увеличить устойчивость моделей к выбросам в данных и улучшить их общую производительность на высококривых многообразиях. Он показал преимущество в области обучения с подкреплением, где геометрически ориентированный шум позволил достичь более стабильных и точных результатов. Будущие исследования будут сфокусированы на расширении этого подхода для работы с неоднородными многообразиями и исследовании его применения в мультимодальных задачах обучения. ## Выводы Результаты показали, что геометрически ориентированный шум значительно улучшает результаты моделей, особенно на высококривых многообраз
Annotation:
It has been shown that perturbing the input during training implicitly regularises the gradient of the learnt function, leading to smoother models and enhancing generalisation. However, previous research mostly considered the addition of ambient noise in the input space, without considering the underlying structure of the data. In this work, we propose several methods of adding geometry-aware input noise that accounts for the lower dimensional manifold the input space inhabits. We start by proje...
ID: 2509.20201v1 cs.LG, math.DG, stat.ML