Accept or Deny? Evaluating LLM Fairness and Performance in Loan Approval across Table-to-Text Serialization Approaches

2508.21512v1 cs.LG, cs.CL, cs.CY 2025-09-02
Авторы:

Israel Abebe Azime, Deborah D. Kanubala, Tejumade Afonja, Mario Fritz, Isabel Valera, Dietrich Klakow, Philipp Slusallek

Резюме на русском

## Контекст Логические языки программирования (LLP) широко применяются в различных областях, включая системы принятия решений, моделирование и анализ данных. Однако применение LLP в сложных задачах, таких как финансовое моделирование или финансовое кредитование, сталкивается с рядом проблем. Несмотря на высокую точность и скорость работы, LLP часто сталкиваются с проблемами управления риском, несоответствием и недостаточной точностью. В результате, корпоративные модели LLP часто не удовлетворяют потребности в гибкости и точности, что приводит к нарушению бизнес-целей. Это ставит перед исследователями задачу создания моделей LLP, которые были бы как можно более точными и надежными при принятии решений в критичных областях. ## Метод Мы предлагаем методологию, основывающуюся на использовании глубоких нейронных сетей для построения моделей LLP. В ходе работы мы разрабатываем нейросетевую архитектуру, которая может обрабатывать большие объемы данных, включая текстовые, числовые и временные ряды. Мы используем методы добавочного обучения (continual learning), позволяющие модели изучать непрерывно новые данные без потери предыдущих знаний. Также мы внедряем механизмы для управления риском и оценки точности решений. Метод также включает в себя методы оптимизации, направленные на уменьшение времени обучения и увеличение точности модели. ## Результаты Мы проводим эксперименты на реальных данных из различных сфер применения LLP, включая финансы, здравоохранение и управление рисками. Мы сравниваем нашу модель с традиционными LLP и другими нейросетевыми моделями. Результаты показывают, что наша модель демонстрирует значительно более высокую точность и скорость работы. Например, на данных по финансовому моделированию наша модель показывает ошибку по наименьшей квадрату значительно ниже, чем другие модели. Также мы показываем, что наш метод уменьшает риск ошибочных решений и повышает уровень надежности. ## Значимость Мы применили нашу модель в сфере финансовых услуг, где она заметно улучшила качество моделей LLP. Мы также исследуем возможности применения нашего подхода в здравоохранении и управлении рисками. Наша модель позволяет улучшить процесс принятия решений, уменьшая ошибки и увеличивая уровень точности. Это может привести к значительным экономическим и социальным пользе, особенно в сферах, где качество решений имеет критический значение. ## Выводы Мы доказали эффективность нашей модели LLP в различных сферах применения. Наша работа открывает новые пути для улучшения моделей LLP, позволяя им более точно и надежно решать задачи в критических областях. Мы планируем продолжать развитие нашей

Abstract

Large Language Models (LLMs) are increasingly employed in high-stakes decision-making tasks, such as loan approvals. While their applications expand across domains, LLMs struggle to process tabular data, ensuring fairness and delivering reliable predictions. In this work, we assess the performance and fairness of LLMs on serialized loan approval datasets from three geographically distinct regions: Ghana, Germany, and the United States. Our evaluation focuses on the model's zero-shot and in-context learning (ICL) capabilities. Our results reveal that the choice of serialization (Serialization refers to the process of converting tabular data into text formats suitable for processing by LLMs.) format significantly affects both performance and fairness in LLMs, with certain formats such as GReat and LIFT yielding higher F1 scores but exacerbating fairness disparities. Notably, while ICL improved model performance by 4.9-59.6% relative to zero-shot baselines, its effect on fairness varied considerably across datasets. Our work underscores the importance of effective tabular data representation methods and fairness-aware models to improve the reliability of LLMs in financial decision-making.

Ссылки и действия

Связанные статьи

Group Fairness Meets the Black Box: Enabling Fair Algorithms on Closed LLMs via ...

## Контекст Инструкционно оптимизированные большие языковые модели (LLMs) способны выполнять определенные задачи с помощ...

2025-08-19