An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

## Контекст Область использования Легкоразмерных Моделей Языка (LLM) в задачах юридического характера становится все более актуальной, однако существуют значительные проблемы, связанные с надежностью. Одна из них — задача применения LLMs в юридически критических ситуациях, где необходимо точно интерпретировать законодательство. Классические задачи, такие как перевод текстов законов в экзекутабельный код, требуют высокой точности, чтобы избежать ошибок, которые могут привести к серьезным последствиям. Большинство задач в этой области связаны с проблемой "oracle problem", когда фактический вывод зависит от точного понимания юридических текстов, что усложняет процесс тестирования систем. В этом контексте появляется идея использования LLMs для создания легально-критического программного обеспечения, где необходима высокая целостность и точность. ## Метод Для решения этой задачи разработан агентный подход, основанный на агентной архитектуре, в которой LLM используется как сервисный агент. Архитектура включает в себя несколько компонентов: 1. **LLM для генерации тестовых сценариев**: генерирует метаморфические тестовые сценарии на основе юридических текстов. 2. **Метаморфические связи высшего порядка**: используются для сравнения выводов системы на похожих случаях. 3. **Лингвистический анализ**: позволяет понять, какие метаморфические тестовые сценарии действительно значимы для конкретной задачи. 4. **Система многоагентной системы**: включает в себя агенты, которые осуществляют различные задачи, такие как генерация тестовых сценариев, выполнение кода и выполнение метаморфического тестирования. ## Результаты В экспериментах была использована модель GPT-4o-mini для генерирования тестовых сценариев и проверки кода. Наиболее заметный результат заключается в том, что данная модель показала лучший результат в сравнении с другими лидирующими моделями, такими как GPT-4o и Claude 3.5. За счет использования метаморфического тестирования, система смогла достичь значительного повышения надежности и точности. Это продемонстрировано значительным приростом проходной скорости (pass rate) для сложных задач связанных с нормативным кодом, когда используется меньшая модель GPT-4o-mini. ## Значимость Этот подход показывает возможность использовать LLM в юридически критических задачах, таких как подготовка налоговых отчетов. Он может применяться в различных юридических сферах, где необходима точная интерпретация закона. Преимущества этого подхода заключаются в улучшении надежности и точности в сравнении с другими методами. Будущие