Wild Refitting for Model-Free Excess Risk Evaluation of Opaque ML/AI Models under Bregman Loss

## Контекст Модели машинного обучения (ML) и искусственного интеллекта (AI) часто используются для решения сложных задач в различных областях. Однако оценка их качества и сходимости к оптимальному решению остается непростой задачей, особенно для "непрозрачных" моделей, таких как глубокие нейронные сети и большие модели естественного языка. Эти модели часто оперируют с огромным количеством параметров и невозможностью полного описания их поведения. Оценка **эксцесса риска (excess risk)** — ключевая задача в ML, которая позволяет оценить суммарное отклонение модели от идеального решения. Однако существующие методы для этой оценки требуют значительного объема данных и априорного знания о модели, что не всегда доступно в реальных ситуациях. Наше исследование фокусируется на разработке нового подхода для оценки эксцесса риска без необходимости знать полную структуру модели (model-free), а также обеспечивая эффективность и надежность для непрозрачных машинных обучения моделей. ## Метод Мы предлагаем метод **wild refitting**, который основывается на новой технике для оценки эксцесса риска. Данная техника позволяет эффективно оценить эксцесс риска, даже для моделей, сложных для классических теоретических методов. Наш подход работает в условиях использования одного набора данных и предоставления только черного ящика (black-box) доступа к процедуре обучения модели. Суть метода заключается в следующем: 1. **Рандомизация**: Мы используем рандомизованный векторный симметричный подход, основанный на "wild noise" (неожиданных изменениях), чтобы создать альтернативные выходы модели. 2. **Вторичная обучающая процедура**: Мы обучаем вторую модель с использованием этих альтернативных выходов для прогнозирования "искусственных" выходов. 3. **Оценка эксцесса риска**: Оценка эксцесса риска производится с помощью анализа разности между истинными и альтернативными выходами. Этот подход позволяет предсказать, насколько модель отстаёт от идеального решения, не требуя глобальной структуры модели. Используя Bregman loss (определяющий потери), мы показываем, что наш метод даёт верхнюю оценку эксцесса риска, которая не зависит от многих стандартных ограничений, поставляемых традиционными теоретическими работами. ## Результаты Мы проверяли наш подход на различных типах данных и моделях, включая непрозрачные модели, такие как нейронные сети и модели естественного языка. Наши эксперименты показали, что: - Метод **wild refitting** позволяет эффективно оценить эксцесс риска в ситуациях, где доступ к полной информации о модели ограничен. - Мы исследовали два сценария: **стационарное (fixed design)** и