Enhanced NIRMAL Optimizer With Damped Nesterov Acceleration: A Comparative Analysis

## Контекст Оптимизация методов градиентного спуска является ключевым аспектом работы многих технологий, включая машинное обучение и системы управления. Одна из самых выдающихся проблем в этой области — это достижение быстрого, стабильного и точного обучения. Одним из популярных подходов является использование механизма Дампенного Несторова для улучшения стабильности и эффективности оптимизации. Адаптивные методы, такие как Adam и NIRMAL, уже продемонстрировали свою эффективность в решении сложных задач. Однако существуют ситуации, когда эти методы могут столкнуться с ограничениями в силовой мощи или недостаточной стабильности. Данное исследование адресует эти проблемы, предлагая усовершенствованный НИРМАЛ (Novel Integrated Robust Multi-Adaptation Learning) с включенным механизмом Дампенного Несторова. Целью данного исследования является достижение более высокой точности и стабильности в процессе обучения. ## Метод Усовершенствованный НИРМАЛ (Enhanced NIRMAL) основывается на оригинальной модели НИРМАЛ, но включает в себя новую механику Дампенного Несторова. Эта механика включает в себя два ключевых компонента: (а) Несторовское ускорение, которое обеспечивает быструю сходимость и стабильность, и (б) Дампенный эффект, который помогает избежать переобучения и повышает устойчивость. Метод использует следующую архитектуру: (1) Несторовское ускорение для управления градиентом, (2) Адаптивные множители, для управления скоростью обучения, (3) Нормализация градиентов, для оптимального сбалансирования всех значений. Кроме того, Enhanced NIRMAL использует стратегию стохастической пертурбации и нелинейные трансформации для улучшения точности. Эти элементы объединены в комплексную модель, которая позволяет достичь более высокого уровня общей стабильности и эффективности. ## Результаты Для оценки эффективности НИРМАЛ с Дампенным Несторовом, авторы провели эксперименты на четырёх разнообразных наборах данных: MNIST, FashionMNIST, CIFAR-10 и CIFAR-100. Для каждого набора данных были использованы специально разработанные архитектуры сверточных нейронных сетей (CNN). Результаты показали, что Enhanced NIRMAL достиг тестовой точности в 46.06% на CIFAR-100, что является выше, чем результаты оригинального НИРМАЛ (44.34%). Также Enhanced NIRMAL показал низкую тестовую потерю (1.960435), что значительно превосходит результаты SGD с Моментумом (46.43% точности). Эти результаты указывают на то, что Enhanced NIRMAL предоставляет более высокую устойчивость и способность к общей обработке сложных данных.