A Dual Optimization View to Empirical Risk Minimization with f-Divergence Regularization

## Контекст Исследования в области машинного обучения часто сосредотачиваются на регуляризации эмпирического риска (ERM), чтобы улучшить общуюсть моделей и предотвратить переобучение. Одним из популярных методов является регуляризация с помощью f-дивергенции, которая позволяет учитывать не только разницу между распределениями, но и их структуру. Тем не менее, существуют проблемы в понимании двойственной формулировки этой задачи и эффективного вычисления результатов. Мотивация заключается в развитии математических инструментов, позволяющих эффективно решать двойственную задачу ERM-fDR, что может привести к более простым и вычислительно эффективным алгоритмам. ## Метод Двойственная формулировка ERM-fDR представляет собой интегральную задачу, которая решается с помощью теоремы Леднера-Фенкеля и теории нелинейных дифференциальных уравнений. Основной инструмент — это нормализационная функция, представленная как решение нелинейного уравнения. Авторы используют легендро-фенклевый преобразование для переформулировки задачи и теорию последовательных дифференциальных уравнений для получения решения. Эта модель привязана к концепции непрерывных функций и имеет большую вычислительную эффективность, так как она упрощает вычисление нормализационных функций в ERM-fDR. ## Результаты Проведенные эксперименты показали, что двойственная модель ERM-fDR эффективно решает задачу регуляризации с использованием f-дивергенции. Использовались синтетические и реальные данные для проверки эффективности алгоритма. Результаты показали, что двойственный подход дает более точные и устойчивые решения, чем прямые методы решения. Эта эффективность достигается благодаря использованию нелинейных уравнений и нормализационных функций, которые позволяют оптимизировать решение с меньшим числом вычислений. ## Значимость Важность этого исследования заключается в его широком потенциале применения в различных областях, таких как классификация, регрессия и задачи нейронных сетей. Он предоставляет более эффективный способ регуляризации ERM с использованием f-дивергенции, что может привести к более точным и вычислительно эффективным моделям. Этот подход также имеет потенциал для улучшения методов решения двоичных задач в машинном обучении, так как он обеспечивает более гибкую и точную регуляризацию. ## Выводы Основным достижением является разработка двойственного подхода к решению ERM-fDR с использованием нелинейного уравнения, что дает новый инструмент для регуляризации моделей. Будущие исследования будут сосредоточены на расширении этой модели для более сложных задач, в