Can Multi-modal (reasoning) LLMs detect document manipulation?
2508.11021v1
cs.CV, cs.CL
2025-08-19
Авторы:
Zisheng Liang, Kidus Zewde, Rudra Pratap Singh, Disha Patil, Zexi Chen, Jiayu Xue, Yao Yao, Yifei Chen, Qinzhe Liu, Simiao Ren
Резюме на русском
#### Контекст
Документный фишинг является серьезной угрозой для организаций, в которых требуется обеспечение безопасности и проверяемости документов, что делает необходимыми эффективные методы обнаружения мошенничества. Исследователи старались развивать методы, которые могли бы обнаруживать подмену документов, ошибки в форматировании, несовпадения сумм транзакций и другие признаки мошенничества. Развитие технологий искусственного интеллекта (AI) и больших моделей языкового моделирования (LLMs) открыло новые возможности для более точного и эффективного обнаружения мошенничества. В данной работе рассматривается возможность использования современных многорежимных LLMs для обнаружения мошенничества в документах.
#### Метод
Для исследования были выбраны несколько современных многорежимных LLMs, включая OpenAI O1, OpenAI 4o, Gemini Flash (thinking), Deepseek Janus, Grok, Llama 3.2 и 4, Qwen 2 и 2.5 VL, Mistral Pixtral, а также Claude 3.5 и 3.7 Sonnet. Для этих моделей были оптимизированы приемы, позволяющие имитировать задачу обнаружения мошенничества в документах. Была использована стандартная выборка документов, из которых необходимо было выявить подмену или мошенничество. Методы включали в себя детальный анализ процесса рассуждений моделей и проверку их устойчивости к нестандартным данным.
#### Результаты
Эксперименты показали, что наиболее успешные модели, такие как OpenAI O1 и Gemini Flash, демонстрировали высокую точность в обнаружении мошенничества даже при нестандартных данных. Однако другие модели, такие как Mistral Pixtral и Claude 3.5, показали субъективно низкую точность, особенно при работе с высокой разнообразием задач. Эксперименты также показали, что размер модели и её общие навыки рассуждения имеют ограниченное влияние на точность обнаружения, что говорит о важности настройки моделей на конкретную задачу.
#### Значимость
Результаты имеют высокую значимость в области безопасности документов и финансовых операций. Использование LLMs может стать новым стандартом для обнаружения мошенничества, что повышает уровень защиты от мошеннических действий. Кроме того, этот подход может быть применен в сфере юридического обслуживания, банковских операций, а также в системах управления документами. Более того, возможность интерпретировать работу моделей делает их более надежными и понятными.
#### Выводы
Основными достижениями являются показатели точности, достигнутые большинством LLMs в обнаружении мошенничества, а также подчеркнутая важность настройки моделей на конкретные задачи. Будущие исследования будут сосредоточены на создании более специализированных моделей, улучшении их точности и возможности интерпретировать результаты работы моделе
Abstract
Document fraud poses a significant threat to industries reliant on secure and
verifiable documentation, necessitating robust detection mechanisms. This study
investigates the efficacy of state-of-the-art multi-modal large language models
(LLMs)-including OpenAI O1, OpenAI 4o, Gemini Flash (thinking), Deepseek Janus,
Grok, Llama 3.2 and 4, Qwen 2 and 2.5 VL, Mistral Pixtral, and Claude 3.5 and
3.7 Sonnet-in detecting fraudulent documents. We benchmark these models against
each other and prior work on document fraud detection techniques using a
standard dataset with real transactional documents. Through prompt optimization
and detailed analysis of the models' reasoning processes, we evaluate their
ability to identify subtle indicators of fraud, such as tampered text,
misaligned formatting, and inconsistent transactional sums. Our results reveal
that top-performing multi-modal LLMs demonstrate superior zero-shot
generalization, outperforming conventional methods on out-of-distribution
datasets, while several vision LLMs exhibit inconsistent or subpar performance.
Notably, model size and advanced reasoning capabilities show limited
correlation with detection accuracy, suggesting task-specific fine-tuning is
critical. This study underscores the potential of multi-modal LLMs in enhancing
document fraud detection systems and provides a foundation for future research
into interpretable and scalable fraud mitigation strategies.
Ссылки и действия
Дополнительные ресурсы: