Comparative Analysis of Novel NIRMAL Optimizer Against Adam and SGD with Momentum
2508.04293v1
cs.IR, cs.AI
2025-08-09
Авторы:
Nirmal Gaud, Surej Mouli, Preeti Katiyar, Vaduguru Venkata Ramya
Резюме на русском
Данная статья предлагает NIRMAL (Novel Integrated Robust Multi-Adaptation Learning) — новую методику оптимизации, которая объединяет стратегии градиентного спуска, момента, стохастической погрешности, адаптивных обучений и нелинейных преобразований. Разработанный подход был протестирован на бенчмарковых датасетах MNIST, FashionMNIST, CIFAR-10 и CIFAR-100 с использованием пользовательской архитектуры CNN. Результаты показали, что NIRMAL демонстрирует высокую эффективность, особенно на сложных датасетах, таких как CIFAR-100, где достиг тестовой точности 45,32% и F1-score 0,4328. Это приемлемо превышает результаты Adam (41,79% точность, 0,3964 F1-score) и примерно соответствует SGD с моментом (46,97% точность, 0,4531 F1-score). Также NIRMAL проявил сильные тренды устойчивости при обучении и хорошую общей способность. Эти результаты подтверждают значительную потенциальную эффективность NIRMAL для решения задач в области глубокого обучения.
Abstract
This study proposes NIRMAL (Novel Integrated Robust Multi-Adaptation
Learning), a novel optimization algorithm that combines multiple strategies
inspired by the movements of the chess piece. These strategies include gradient
descent, momentum, stochastic perturbations, adaptive learning rates, and
non-linear transformations. We carefully evaluated NIRMAL against two widely
used and successful optimizers, Adam and SGD with Momentum, on four benchmark
image classification datasets: MNIST, FashionMNIST, CIFAR-10, and CIFAR-100.
The custom convolutional neural network (CNN) architecture is applied on each
dataset. The experimental results show that NIRMAL achieves competitive
performance, particularly on the more challenging CIFAR-100 dataset, where it
achieved a test accuracy of 45.32\%and a weighted F1-score of 0.4328. This
performance surpasses Adam (41.79\% accuracy, 0.3964 F1-score) and closely
matches SGD with Momentum (46.97\% accuracy, 0.4531 F1-score). Also, NIRMAL
exhibits robust convergence and strong generalization capabilities, especially
on complex datasets, as evidenced by stable training results in loss and
accuracy curves. These findings underscore NIRMAL's significant ability as a
versatile and effective optimizer for various deep learning tasks.
Ссылки и действия
Дополнительные ресурсы: