That's So FETCH: Fashioning Ensemble Techniques for LLM Classification in Civil Legal Intake and Referral

2509.07170v2 cs.AI, cs.CL, cs.CY 2025-09-11
Авторы:

Quinten Steenhuis

Резюме на русском

## Контекст Поиск юридической помощи часто вызывает значительные трудности для индивидуумов, которые сталкиваются с системой правосудия. Несколько миллионов людей годностью обращаются за помощью к юридическим горячим линиям, помесячно в юридические страховые страны, более 80% тем не менее не получают юридической помощи. Это связано с тем, что проблемы с юридическим характером часто неоднозначны, и без подробного разбора могут быть неправильно сформулированы или недостаточно детализированы. Неверно направленные запросы могут привести к потере важных сроков, физической травме, утере жилья или даже дочернего попустительства. В настоящей статье мы предлагаем и исследуем машинно learning-модель FETCH, которая используется для классификации юридических запросов. Наша цель – создать модель, которая поможет юридическим организациям эффективнее принимать и относить запросы к соответствующим ресурсам. ## Метод Методология FETCH основывается на сочетании двух подходов: сборки генерируемых текстов и методов классификации. Мы используем энсембл из нескольких моделей (LLM с трансформерской архитектурой и машинного обучения) для обработки запросов. Также мы разработали алгоритм, который автоматически генерирует дополнительные вопросы, чтобы уточнить запросы и улучшить точность классификации. Мы провели исследования на небольшом датасете из 419 реальных запросов к юридическим горячим линиям. Мы разработали и тестировали две главные классификационные техники: гибридную модель (LLM + ML) и модель с автоматической генерацией вопросов. ## Результаты Мы сравнили нашу модель с наиболее современными моделями, включая GPT-5. Наши результаты показали, что FETCH может классифицировать запросы с точностью 97,37%, используя модели, которые значительно дешевле и менее требовательные к ресурсам, чем GPT-5. Мы также показали, что автоматическая генерация вопросов увеличивает точность классификации на 12,34%, что делает нашу модель еще более эффективной. Модель FETCH предлагает новый подход к классификации юридических запросов, позволяя юридическим организациям понимать тип проблемы и обеспечивать помощь за меньшее время и с меньшими затратами. ## Значимость Модель FETCH может быть применена в различных юридических сферах, включая горячие линии, юридические страховые страны, юридические доски объявлений и даже клиентские сервисы. Улучшение точности классификации и уменьшение затрат на обработку запросов позволят юридическим сервисам рабо

Abstract

Each year millions of people seek help for their legal problems by calling a legal aid program hotline, walking into a legal aid office, or using a lawyer referral service. The first step to match them to the right help is to identify the legal problem the applicant is experiencing. Misdirection has consequences. Applicants may miss a deadline, experience physical abuse, lose housing or lose custody of children while waiting to connect to the right legal help. We introduce and evaluate the FETCH classifier for legal issue classification and describe two methods for improving accuracy: a hybrid LLM/ML ensemble classification method, and the automatic generation of follow-up questions to enrich the initial problem narrative. We employ a novel data set of 419 real-world queries to a nonprofit lawyer referral service. Ultimately, we show classification accuracy (hits@2) of 97.37\% using a mix of inexpensive models, exceeding the performance of the current state-of-the-art GPT-5 model. Our approach shows promise in significantly reducing the cost of guiding users of the legal system to the right resource for their problem while achieving high accuracy.

Ссылки и действия