Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
2509.15141v1
stat.ML, cs.LG
2025-09-20
Авторы:
Yigit E. Yildirim, Samet Demir, Zafer Dogan
Резюме на русском
#### Контекст
Область исследования связана с проблемами улучшения устойчивости и справедливости в супервизированном обучении. Традиционное Empirical Risk Minimization (ERM) стремится минимизировать среднюю ошибку, но часто не учитывает высшую вероятность выбросов и недостаток справедливости. Это приводит к уязвимости систем к аномалиям и недостатку справедливости в решениях. Метод Tilted Empirical Risk Minimization (TERM) расширяет ERM, добавляя гиперпараметр $t$, который позволяет сбалансировать среднюю точность и устойчивость к выбросам. Однако в режимах онлайн-обучения, когда данные поступают по одному примеру за раз, классическая TERM-формула теряет свою гибкость, переходя к ERM. Это ограничение требует разработки эффективного онлайн-аналога TERM.
#### Метод
Мы предлагаем новую онлайн-формулу TERM, которая убирает логарифм из классической формулы, сохраняя эффект $t$. Это позволяет контролировать trade-off между ERM ($t \to 0$), увеличением справедливости ($t > 0$) и устойчивостью к выбросам ($t < 0$) без дополнительных вычислительных затрат. Метод использует быструю арифметику, сохраняя точность и гибкость TERM-метода в онлайн-режиме.
#### Результаты
Мы провели эксперименты на двух задачах: детекции миниорных классов в бинарной классификации и решении линейной регрессии с адверсарными выбросами. Для этих задач использовались синтетические и реальные данные. Результаты показали, что отрицательный tilt $t < 0$ эффективно подавляет влияние выбросов, а положительный tilt $t > 0$ увеличивает вероятность обнаружения миниорных классов, при этом не ухудшаясь точность. Online TERM показал схожие результаты с классическим TERM, но с меньшими затратами на вычисления при каждом новом примере.
#### Значимость
Метод может быть применен в задачах, где требуется справедливость и устойчивость, например, в финансовой отрасли, здравоохранении, системах мониторинга. Он позволяет гибко контролировать trade-off между точностью и уверенностью в системах, улучшая надежность и справедливость решений. Это может повлиять на развитие систем, требующих высокой точности и высокой устойчивости к аномалиям.
#### Выводы
Мы разработали эффективную онлайн-формулу TERM, которая сохраняет все преимущества классической TERM в режиме онлайн-обучения. Наши результаты демонстрируют эффективность метода в справедливости и устойчивости к выбросам. Мы планируем расширить применение нашего подхода к другим задачам, таким как классификация изображений и распознавание речи в режиме реального времени.
Abstract
Empirical Risk Minimization (ERM) is a foundational framework for supervised
learning but primarily optimizes average-case performance, often neglecting
fairness and robustness considerations. Tilted Empirical Risk Minimization
(TERM) extends ERM by introducing an exponential tilt hyperparameter $t$ to
balance average-case accuracy with worst-case fairness and robustness. However,
in online or streaming settings where data arrive one sample at a time, the
classical TERM objective degenerates to standard ERM, losing tilt sensitivity.
We address this limitation by proposing an online TERM formulation that removes
the logarithm from the classical objective, preserving tilt effects without
additional computational or memory overhead. This formulation enables a
continuous trade-off controlled by $t$, smoothly interpolating between ERM ($t
\to 0$), fairness emphasis ($t > 0$), and robustness to outliers ($t < 0$). We
empirically validate online TERM on two representative streaming tasks: robust
linear regression with adversarial outliers and minority-class detection in
binary classification. Our results demonstrate that negative tilting
effectively suppresses outlier influence, while positive tilting improves
recall with minimal impact on precision, all at per-sample computational cost
equivalent to ERM. Online TERM thus recovers the full robustness-fairness
spectrum of classical TERM in an efficient single-sample learning regime.
Ссылки и действия
Дополнительные ресурсы: