Activation Subspaces for Out-of-Distribution Detection

#### Контекст В глубоких сетях, используемых в реальных приложениях, важно уверенно различать входные данные, принадлежащие набору обучения (in-distribution, ID), от тех, которые выходят за его пределы (out-of-distribution, OOD). Несовершенство существующих OOD-методов заключается в том, что они недостаточно эффективно различают входные данные в зависимости от степени расхождения от тренировочного распределения. Это приводит к ошибкам в критических задачах, таких как диагностика, безопасность и мониторинг. Наша мотивация заключается в разработке метода, который эффективно применяется в разных режимах распределения, обеспечивая высокую точность и универсальность. #### Метод Мы предлагаем Activation Subspaces (ActSub), новый подход к OOD-детекции, основанный на разложении модели по сингулярным значениям весов классификационного слоя. Это декомпозиция активаций модели на два подпространства: "игнорируемые" (insignificant subspace) и "значимые" (decisive subspace). Игнорируемое подпространство, которое практически не влияет на классификацию, оказывается эффективным в распознавании OOD-данных, особенно при больших сдвигах распределений (Far-OOD). Значимое подпространство, в свою очередь, полезно для ситуаций с небольшими сдвигами (Near-OOD). Мы используем эти наблюдения для создания комбинированного подхода, объединяющего в себе две стратегии, что позволяет улучшить жидкость и точность OOD-детекции. #### Результаты Мы провести испытания на нескольких стандартных OOD-benchmarkах, включая CIFAR-10, CIFAR-100, ImageNet, и TinyImageNet. Метод ActSub показал лучшие результаты в сравнении с современными OOD-детекционными методами, существенно повысив точность и жидкость OOD-отделения. Мы показали, что игнорируемое подпространство значительно повышает эффективность OOD-отделения в Far-OOD, тогда как значимое подпространство демонстрирует лучшие результаты в Near-OOD. Эти результаты подтверждают гибкость ActSub и его высокую эффективность в различных сценариях. #### Значимость Метод ActSub может быть применен в различных критических приложениях, таких как мониторинг здоровья, сетевая безопасность, и анализ данных в реальном времени. Он обеспечивает улучшенную точность и универсальность в OOD-отделении, что может существенно повысить надежность и безопасность систем. Этот подход также может быть расширен для других задач, таких как гиперпараметрические анализы и поиск нежелательных признаков в данных. #### Выводы Мы предлагаем новый подход к OOD-детекции, который эффективно разделяет OOD и ID-данные в различных ситуациях распределения. Наши результаты показывают, что ActSub превосходит существующ