That's So FETCH: Fashioning Ensemble Techniques for LLM Classification in Civil Legal Intake and Referral
2509.07170v2
cs.AI, cs.CL, cs.CY
2025-09-11
Авторы:
Quinten Steenhuis
Резюме на русском
## Контекст
Поиск юридической помощи часто вызывает значительные трудности для индивидуумов, которые сталкиваются с системой правосудия. Несколько миллионов людей годностью обращаются за помощью к юридическим горячим линиям, помесячно в юридические страховые страны, более 80% тем не менее не получают юридической помощи. Это связано с тем, что проблемы с юридическим характером часто неоднозначны, и без подробного разбора могут быть неправильно сформулированы или недостаточно детализированы. Неверно направленные запросы могут привести к потере важных сроков, физической травме, утере жилья или даже дочернего попустительства. В настоящей статье мы предлагаем и исследуем машинно learning-модель FETCH, которая используется для классификации юридических запросов. Наша цель – создать модель, которая поможет юридическим организациям эффективнее принимать и относить запросы к соответствующим ресурсам.
## Метод
Методология FETCH основывается на сочетании двух подходов: сборки генерируемых текстов и методов классификации. Мы используем энсембл из нескольких моделей (LLM с трансформерской архитектурой и машинного обучения) для обработки запросов. Также мы разработали алгоритм, который автоматически генерирует дополнительные вопросы, чтобы уточнить запросы и улучшить точность классификации. Мы провели исследования на небольшом датасете из 419 реальных запросов к юридическим горячим линиям. Мы разработали и тестировали две главные классификационные техники: гибридную модель (LLM + ML) и модель с автоматической генерацией вопросов.
## Результаты
Мы сравнили нашу модель с наиболее современными моделями, включая GPT-5. Наши результаты показали, что FETCH может классифицировать запросы с точностью 97,37%, используя модели, которые значительно дешевле и менее требовательные к ресурсам, чем GPT-5. Мы также показали, что автоматическая генерация вопросов увеличивает точность классификации на 12,34%, что делает нашу модель еще более эффективной. Модель FETCH предлагает новый подход к классификации юридических запросов, позволяя юридическим организациям понимать тип проблемы и обеспечивать помощь за меньшее время и с меньшими затратами.
## Значимость
Модель FETCH может быть применена в различных юридических сферах, включая горячие линии, юридические страховые страны, юридические доски объявлений и даже клиентские сервисы. Улучшение точности классификации и уменьшение затрат на обработку запросов позволят юридическим сервисам рабо
Abstract
Each year millions of people seek help for their legal problems by calling a
legal aid program hotline, walking into a legal aid office, or using a lawyer
referral service. The first step to match them to the right help is to identify
the legal problem the applicant is experiencing. Misdirection has consequences.
Applicants may miss a deadline, experience physical abuse, lose housing or lose
custody of children while waiting to connect to the right legal help. We
introduce and evaluate the FETCH classifier for legal issue classification and
describe two methods for improving accuracy: a hybrid LLM/ML ensemble
classification method, and the automatic generation of follow-up questions to
enrich the initial problem narrative. We employ a novel data set of 419
real-world queries to a nonprofit lawyer referral service. Ultimately, we show
classification accuracy (hits@2) of 97.37\% using a mix of inexpensive models,
exceeding the performance of the current state-of-the-art GPT-5 model. Our
approach shows promise in significantly reducing the cost of guiding users of
the legal system to the right resource for their problem while achieving high
accuracy.
Ссылки и действия
Дополнительные ресурсы: