Staying on the Manifold: Geometry-Aware Noise Injection

## Контекст Область исследования сосредоточена на изучении методов применения геометрически ориентированного шума во время обучения глубоких нейронных сетей. Данный подход направлен на улучшение регуляризации, обеспечения гладкости моделей и улучшения их общей устойчивости и точности. Однако, существующие исследования сфокусированы на добавлении амбиентного шума в входном пространстве, не учитывая особенности низкорангового многообразия, на котором лежит данные. Работа предлагает новые методы геометрически ориентированной инъекции шума, которые учитывают эту структуру. Это необходимо для решения проблем, связанных с высокой кривизной многообразий, на которых обучаются нейронные сети. ## Метод Метод предлагает добавлять шум в входные данные в том пространстве, которое соответствует низкоранговому многообразию, на котором данные лежат. Это достигается путем проекции гауссовского шума на локальное тангенциальное пространство многообразия. Далее, этот шум маппится на многообразие с помощью геодезической кривой. Также рассматривается шум в виде Броуновского движения, который делает случайные шаги вдоль геодезических кривых. Это позволяет сохранить геометрические особенности многообразия и улучшить генерализацию моделей. ## Результаты Изучены эффекты разных видов шума на нескольких многообразиях с разной кривизной. Эксперименты показали, что геометрически ориентированный шум существенно улучшает производительность моделей на высококривых многообразиях, увеличивая их общую устойчивость и точность. На простых многообразиях результаты находятся на уровне с обучением без добавления шума. Эксперименты также показали, что шум не влияет на скорость обучения и может быть эффективно применен как на предобработанных, так и на любых других многообразиях, созданных с помощью глубоких нейронных сетей. ## Значимость Предложенный подход может быть применен в различных областях, где необходимо увеличить устойчивость моделей к выбросам в данных и улучшить их общую производительность на высококривых многообразиях. Он показал преимущество в области обучения с подкреплением, где геометрически ориентированный шум позволил достичь более стабильных и точных результатов. Будущие исследования будут сфокусированы на расширении этого подхода для работы с неоднородными многообразиями и исследовании его применения в мультимодальных задачах обучения. ## Выводы Результаты показали, что геометрически ориентированный шум значительно улучшает результаты моделей, особенно на высококривых многообраз