Probability Density from Latent Diffusion Models for Out-of-Distribution Detection

## Контекст В последние годы машинное обучение получило широкое распространение в различных областях, однако одной из ключевых проблем, мешающих его безопасному применению, является задача выявления данных, отклоняющихся от распределения обучения (out-of-distribution, OOD). Эта задача является существенной для обеспечения безопасности и надежности систем машинного обучения. Оптимальным подходом для OOD-детекции считается использование оценки плотности вероятности (likelihood), так как этот подход теоретически оптимален в случае если данные OOD имеют равномерное распределение. Однако практические исследования показали, что данный подход часто дает неудовлетворительные результаты. В данной работе мы исследуем, собственно, является ли проблемой используемого представления значений (representation space) или отсутствием возможности эффективного выучивания плотности вероятностей. Мы подробно рассматриваем, насколько эффективен этот подход в сравнении с современными методами, а также оцениваем потенциал использования вероятностной модели Diffusion для OOD-детекции. ## Метод Для решения приведенной задачи мы применяем модель Variational Diffusion Model (VDM), которая обучена не на изображениях, как это принято для генеритивных моделей, но на представлении входных данных, полученных от предварительно обученной сети ResNet-18. Таким образом, мы можем оценить, насколько эффективно VDM может выучить плотность вероятности в пространстве характеристик, а не в пиксельном пространстве. Для сравнения результатов используются методы OOD-детекции из набора OpenOOD. Мы также проводим эксперименты с целью проверить, насколько хорошо модель способна выделять данные OOD, используя только значения плотности вероятности. Это позволяет нам оценить, насколько хорошо модель справляется с задачей OOD-детекции в рамках представления высокого уровня (high-level representation). ## Результаты Результаты экспериментов показывают, что использование VDM в пространстве высокого уровня характеристик позволяет достичь приемлемой точности OOD-детекции, при этом в некоторых случаях превосходя современные методы, работающие в пиксельном пространстве. Мы также наблюдаем, что VDM способна хорошо оценивать плотность вероятности для OOD-данных, но наблюдаются изъяны в представлении, которые могут приводить к некоторым ошибкам в детекции. Мы также сравниваем VDM с несколькими современными OOD-детекторами и показываем, что наши результаты в некоторых случаях существенно превосходят состояние технологий, что демонстрирует потенциал VDM в области OOD-детекции. ## Значимость Полученные результаты имеют важное значение для дальнейшего развития технологий OOD-детекции. Мы пока