ORCA: Agentic Reasoning For Hallucination and Adversarial Robustness in Vision-Language Models

## Контекст Огромные языково-визуальные модели (Large Vision-Language Models, LVLMs) обладают выдающимися возможностями в области обработки многомодальных данных, но остаются уязвимыми к ошибкам внутреннего происхождения (hallucinations) и адверсарным атакам. Эти проблемы снижают надежность таких моделей в реальном мире, особенно в критически важных задачах, где точность и достоверность ключевые. Ограничения, связанные с этими проблемами, проявляются в задачах, таких как оценка точности текстовых описаний изображений и сопротивление атакам. Развитие методов, способных улучшить точность и устойчивость таких моделей, является актуальным и востребованным заданием. ## Метод Мы предлагаем ORCA, рамочное решение, основанное на агентском логическом рассуждении, для улучшения точности и устойчивости LVLMs. ORCA работает через цикл Observe--Reason--Critique--Act (Обследовать--Рассуждать--Критиковать--Действовать). Он запрашивает визуальные модели малого размера (менее 3 миллиардов параметров) с помощью информационных вопросов, проверяет консистентность ответов, анализирует потенциальные несоответствия и совершает итеративные корректировки. Этот процесс не требует доступа к внутренним работам моделей или их переобучению. Более того, ORCA регистрирует все промежуточные логические шаги, обеспечивая прозрачность и аудитность решений. Алгоритм ORCA ориентирован прежде всего на устранение ошибок в узлах объектов, но способен за счет своего многопроцессорного подхода эффективно справляться с внешними атаками. ## Результаты Мы проверили ORCA на трех сценариях: (1) работе с чистыми изображениями, (2) атаках адверсарными помехами без защитных методов, и (3) атаках с применением защитных методов. На POPE hallucination benchmark, ORCA показал разность до +40.67% в точности для различных подмножеств. В условиях адверсарных нападений на POPE, ORCA повысил среднюю точность моделей LVLM на +20.11%. Кроме того, при использовании защитных методов на AMBER изображениях, ORCA повысил точность LVLM от +1.20% до +48.00%, зависимо от выбранных метрик. Эти результаты демонстрируют эффективность ORCA в улучшении надежности и сопротивляемости языково-визуальных моделей. ## Значимость ORCA может быть применено в многообразных областях, где важна надежность лингвистических выводов на основе визуальных данных, в том числе в области медицины, юриспруденции, автоматизации производственных процессов и безопасности. ORCA значительно повышает точность и сопротивляемость существующих LVLMs, уменьшая риск ошибок и повышая доверие пользователей. Его потенциальное влияние заключается в том, что он может стать основой для развити