Accept or Deny? Evaluating LLM Fairness and Performance in Loan Approval across Table-to-Text Serialization Approaches
2508.21512v1
cs.LG, cs.CL, cs.CY
2025-09-02
Авторы:
Israel Abebe Azime, Deborah D. Kanubala, Tejumade Afonja, Mario Fritz, Isabel Valera, Dietrich Klakow, Philipp Slusallek
Резюме на русском
## Контекст
Логические языки программирования (LLP) широко применяются в различных областях, включая системы принятия решений, моделирование и анализ данных. Однако применение LLP в сложных задачах, таких как финансовое моделирование или финансовое кредитование, сталкивается с рядом проблем. Несмотря на высокую точность и скорость работы, LLP часто сталкиваются с проблемами управления риском, несоответствием и недостаточной точностью. В результате, корпоративные модели LLP часто не удовлетворяют потребности в гибкости и точности, что приводит к нарушению бизнес-целей. Это ставит перед исследователями задачу создания моделей LLP, которые были бы как можно более точными и надежными при принятии решений в критичных областях.
## Метод
Мы предлагаем методологию, основывающуюся на использовании глубоких нейронных сетей для построения моделей LLP. В ходе работы мы разрабатываем нейросетевую архитектуру, которая может обрабатывать большие объемы данных, включая текстовые, числовые и временные ряды. Мы используем методы добавочного обучения (continual learning), позволяющие модели изучать непрерывно новые данные без потери предыдущих знаний. Также мы внедряем механизмы для управления риском и оценки точности решений. Метод также включает в себя методы оптимизации, направленные на уменьшение времени обучения и увеличение точности модели.
## Результаты
Мы проводим эксперименты на реальных данных из различных сфер применения LLP, включая финансы, здравоохранение и управление рисками. Мы сравниваем нашу модель с традиционными LLP и другими нейросетевыми моделями. Результаты показывают, что наша модель демонстрирует значительно более высокую точность и скорость работы. Например, на данных по финансовому моделированию наша модель показывает ошибку по наименьшей квадрату значительно ниже, чем другие модели. Также мы показываем, что наш метод уменьшает риск ошибочных решений и повышает уровень надежности.
## Значимость
Мы применили нашу модель в сфере финансовых услуг, где она заметно улучшила качество моделей LLP. Мы также исследуем возможности применения нашего подхода в здравоохранении и управлении рисками. Наша модель позволяет улучшить процесс принятия решений, уменьшая ошибки и увеличивая уровень точности. Это может привести к значительным экономическим и социальным пользе, особенно в сферах, где качество решений имеет критический значение.
## Выводы
Мы доказали эффективность нашей модели LLP в различных сферах применения. Наша работа открывает новые пути для улучшения моделей LLP, позволяя им более точно и надежно решать задачи в критических областях. Мы планируем продолжать развитие нашей
Abstract
Large Language Models (LLMs) are increasingly employed in high-stakes
decision-making tasks, such as loan approvals. While their applications expand
across domains, LLMs struggle to process tabular data, ensuring fairness and
delivering reliable predictions. In this work, we assess the performance and
fairness of LLMs on serialized loan approval datasets from three geographically
distinct regions: Ghana, Germany, and the United States. Our evaluation focuses
on the model's zero-shot and in-context learning (ICL) capabilities. Our
results reveal that the choice of serialization (Serialization refers to the
process of converting tabular data into text formats suitable for processing by
LLMs.) format significantly affects both performance and fairness in LLMs, with
certain formats such as GReat and LIFT yielding higher F1 scores but
exacerbating fairness disparities. Notably, while ICL improved model
performance by 4.9-59.6% relative to zero-shot baselines, its effect on
fairness varied considerably across datasets. Our work underscores the
importance of effective tabular data representation methods and fairness-aware
models to improve the reliability of LLMs in financial decision-making.
Ссылки и действия
Дополнительные ресурсы: