LLM-based IR-system for Bank Supervisors
2508.02945v1
cs.IR, cs.AI, cs.LG, stat.AP, stat.CO, 68P20, 68T50, 68T05, 62P20, 91G80, H.3.3; I.2.6; I.2.7; J.1
2025-08-09
Авторы:
Ilias Aarab
Резюме на русском
**Резюме**
В статье представлена LLM-based IR-система, разработанная для поддержки банковских надзорных органов в создании консистентных и эффективных мер. Банковские надзорные органы часто сталкиваются с проблемой учета исторических прецедентов при выработке новых мер. Проектируемая система решает эту проблему, позволяя надзорным органам получить сведения из базы данных научных работ по аналогичным случаям. Она использует множественные методы поиска, включая лексический, семантический и fuzzy set matching по модели CRR, для точного выявления наиболее подходящих документов.
Система проверена с помощью Monte Carlo-метода на частично отмеченных данных, показала высокую точность и устойчивость. Использование Transformer-based Denoising AutoEncoder для тюнинга позволило достичь высоких результатов: Mean Average Precision (MAP@100) — 0.83 и Mean Reciprocal Rank (MRR@100) — 0.92. Эти показатели превышают результаты однородных моделей BM25 и BERT-подобных. Таким образом, предложенная система является эффективным инструментом для повышения качества и согласованности нормативных мер в банковском надзоре.
Abstract
Bank supervisors face the complex task of ensuring that new measures are
consistently aligned with historical precedents. To address this challenge, we
introduce a novel Information Retrieval (IR) System tailored to assist
supervisors in drafting both consistent and effective measures. This system
ingests findings from on-site investigations. It then retrieves the most
relevant historical findings and their associated measures from a comprehensive
database, providing a solid basis for supervisors to write well-informed
measures for new findings. Utilizing a blend of lexical, semantic, and Capital
Requirements Regulation (CRR) fuzzy set matching techniques, the IR system
ensures the retrieval of findings that closely align with current cases. The
performance of this system, particularly in scenarios with partially labeled
data, is validated through a Monte Carlo methodology, showcasing its robustness
and accuracy. Enhanced by a Transformer-based Denoising AutoEncoder for
fine-tuning, the final model achieves a Mean Average Precision (MAP@100) of
0.83 and a Mean Reciprocal Rank (MRR@100) of 0.92. These scores surpass those
of both standalone lexical models such as BM25 and semantic BERT-like models.