The Optimiser Hidden in Plain Sight: Training with the Loss Landscape's Induced Metric

#### Контекст Глубокое обучение, как существенная область искусственного интеллекта, связано с значительными вызовами в области оптимизации. Одна из ключевых задач — найти эффективные методы, которые могут хорошо адаптироваться к различным задачам и архитектурам нейронных сетей. Существующие методы, такие как SGD, Adam и AdamW, показали эффективность в многих сценариях, но имеют ограничения, включая зависимость от гиперпараметров и недостаточно тонкую адаптацию к локальной геометрии потерь. Эти ограничения могут приводить к плохой локальной сходимости и неоптимальным результатам. Мотивация для данного исследования заключается в исследовании геометрии потерь и разработке оптимизаторов, использующих естественно указанный римановый метрический расстояние на потерь. #### Метод Исследование основывается на римановой геометрии, которая включает в себя структуру потерь в высокомерном пространстве. Разрабатываемый оптимизатор использует риманову метрику, естественно производную от лосса-ландшафта. Эта метрика позволяет определять эффективные шаги оптимизации, адаптируясь к локальным изменениям сложности. Использованные технические решения включают разработку нового метода, который может быть применен к любому предусловию. Эта архитектура основывается на нормальной разложении гессиана и использовании римановых метрик для уточнения приближений к решениям. Отличительным признаком является автоматическое уменьшение эффективной скорости обучения в кривых регионах и учет скольжения. #### Результаты Эксперименты проводились на различных задачах, включая обработку естественного языка, изображений и регрессию. Использованы популярные архитектуры, такие как ResNet, BERT и MLP. Результаты показали, что новый оптимизатор демонстрирует высокую эффективность в низкомерных задачах, существенно превосходя SGD и Adam в тех случаях, когда локальная геометрия требует тонкого управления. Также были обнаружены преимущества в уменьшении ошибки, уменьшении величины эффективного шага в кривых областях и оптимальном использовании декоUPPОДОБиЕННОГО декодирования зависимостей. Эти наблюдения подтверждают, что новый оптимизатор может значительно улучшить стабильность и эффективность тренировочных процессов. #### Значимость Основное преимущество нового оптимизатора заключается в том, что он адаптируется к местным условиям лосса-ландшафта, что является ключевым для решения задач с большим количеством параметров и высокой сложности. Это может быть применено в задачах проектирования сетей, а также для улучшения стабильности обуч