Long-Tailed Out-of-Distribution Detection with Refined Separate Class Learning

## Контекст Out-of-distribution (OOD) detection является ключевым аспектом для создания надежных и безопасных машинных обучения систем. Она позволяет моделям определять семплы, которые не принадлежат распределению обучающих данных. Однако, при использовании данных с длинным хвостом (long-tailed distribution), модели часто смутятся между OOD-семплами и классами-главами (head classes) или хвостовыми классами (tail classes). Это приводит к ухудшению показателей OOD-детекции. Для решения этой проблемы, появился подход "отдельного обучения классов" (Separate Class Learning, SCL), который разделяет обучение для классов-глав и хвостовых классов. Несмотря на его прогресс, существуют лимиты: использование статического параметра температуры и неэффективность в обработке неинформативных выбросов. Эти ограничения ставили перед сообществом задачу повышения эффективности OOD-детекции в условиях длинного хвоста. ## Метод Мы предлагаем Refined Separate Class Learning (RSCL) — усовершенствованный подход к SCL, который адаптирует термодинамические параметры для каждого класса индивидуально. Это позволяет добиться более точного разделения OOD-семплов от классов-глав и хвостовых классов. Для того, чтобы эффективнее выделять OOD-семплы, мы вводим "информативные выбросы" — метод идентификации OOD-семплов, основанный на измерении их схожести с классами-глав и хвостовыми классами. Этот подход добавляет подробности в распределение OOD-семплов и улучшает обнаружение OOD-семплов из разных классовых структур. ## Результаты Мы провели ряд экспериментов на стандартных OOD-данных и данных с длинным хвостом, включая CIFAR-10-C, CIFAR-100-C и ImageNet-O. RSCL показал значительное улучшение в OOD-детекции по сравнению с эталонными методами SCL. Мы также проанализировали влияние динамического термодинамического регулирования и майнинга информативных выбросов на качество модели. Результаты показали, что RSCL значительно улучшает точность OOD-детекции без существенного ухудшения точности классификации OOD-семплов. ## Значимость Наш подход имеет широкие области применения, например, в системах мониторинга для предвидения нестандартных событий, в системах безопасности для идентификации необычных действий и в области медицины для обнаружения аномалий в данных. RSCL предоставляет более точную детекцию OOD-семплов, что повышает надежность моделей в условиях длинного хвоста. Это открывает путь к более эффективным и надежным системам обнаружения нестандартных ситуаций в реальном времени. ## Выводы RSCL становится новым стандартом для OOD-детекции в условиях длинного хвоста. Мы показали, что динамическая адапта