Retrieval-Augmented Prompt for OOD Detection

## Контекст Модели машинного обучения часто применяются в средах, где тестирующие данные могут отличаться от обучающих. Это проблема, называемая Out-of-Distribution (OOD) detection, является критической для доверительного использования моделей в реальном мире. Однако, существующие методы OOD-детекции часто сталкиваются с проблемами, такими как ограниченность доступных отклоняющихся примеров (отклоняющихся от основной дистрибутивной нормы) и отсутствие достаточной семантической навигации для их определения. Эти ограничения приводят к пониженной точности в детекции OOD-примеров. Мы предлагаем новую методику, Retrieval-Augmented Prompt (RAP), чтобы улучшить подход к OOD-детекции, используя внешнюю значимость и динамическую адаптацию к тестовым условиям. ## Метод RAP (Retrieval-Augmented Prompt) расширяет текущую модель предложения с помощью внешнего знания, полученного с помощью операции восстановления. Мы вводим два новых компонента: (1) **текстовый восстановитель**, который определяет описательные слова для OOD-примеров на основе внешнего текстового контекста, и (2) **динамическое обновление OOD-предложения**, которое адаптирует модель в реальном времени к тестовым данным. Во время обучения, мы используем внешнюю значимость для повышения семантических характеристик OOD-примеров. Во время тестирования, RAP адаптирует модель, используя уточненные OOD-предложения, чтобы повысить точность детекции. Это сочетание внешних ресурсов и динамической моделирования позволяет RAP оптимизировать OOD-детекцию. ## Результаты Мы проводили эксперименты на нескольких OOD-датасетах, включая ImageNet-1k и CIFAR-100, сравнивая RAP с современными OOD-методами. Результаты показали, что RAP добивается значительных улучшений в OOD-данных. Например, в 1-shot OOD-детекции на ImageNet-1k, RAP снизил Average False Positive Rate at 95% Confidence (FPR95) на 7.05% и повысил AUROC (Area Under the Receiver Operating Characteristic Curve) на 1.71% по сравнению с предыдущими методами. Эти результаты указывают на сильное улучшение RAP в сравнении с современными подходами в области OOD-детекции. ## Значимость Метод RAP может быть применен в различных областях, где существует необходимость в выявлении и отсечении неподходящих данных, включая медицину, финансы и анализ данных в реальном времени. Основные преимущества RAP заключаются в его универсальности, способности адаптироваться к различным задачам и отличной производительности в тестовых условиях. Это может привести к более надежным моделям OOD-детекции в реальных приложениях, улучшая надежность и безопасность систем. ## Выводы Результаты наших исследований подтвер