Statutory Construction and Interpretation for Artificial Intelligence
2509.01186v1
cs.CL, cs.AI, cs.CY
2025-09-05
Авторы:
Luxi He, Nimra Nadeem, Michel Liao, Howard Chen, Danqi Chen, Mariano-Florentino Cuéllar, Peter Henderson
Резюме на русском
## Контекст
Современные искусственные интеллекты (AI) все чаще применяются в областях, требующих интерпретации естественного языка, таких как юридическая сфера, образовательные системы и даже управление городами. Однако одной из главных проблем при использовании естественного языка в AI является **интерпретируемая неоднозначность**. То есть, тексты, которые AI должны интерпретировать, часто не являются однозначными, и в зависимости от того, как подходят к ним, могут быть интерпретированы разными способами. Эта неоднозначность может привести к несогласованности в поведении AI и, в итоге, к нежелательным результатам.
В юридических системах, где неоднозначность текста также является проблемой, используются специальные механизмы, такие как привлечение судебных рецензентов или конституционные поправки, для устранения такой неоднозначности. Однако в AI системах, в отличие от юридических систем, такие механизмы отсутствуют. Это приводит к ситуации, когда разные модели, отличающиеся в их подходе к интерпретации текста, могут дать разные результаты, даже при одинаковом входном тексте.
В нашей работе мы исследуем эту проблему, используя методологию, основанную на юридической теории, и предлагаем новую модель, которая помогает уменьшить интерпретируемую неоднозначность в AI системах. Мы стремимся создать более устойчивые и предсказуемые AI системы, которые смогут вести себя точно и согласованно в разных контекстах.
## Метод
Мы предлагаем два главных механизма для устранения неоднозначности в AI:
1. **Процесс рефининга правил (Rule Refinement Pipeline)**: Этот механизм похож на агентскую регулированную деятельность или итеративный процесс законодательства. Мы предлагаем метод для того, чтобы рефинировать (очищать от неоднозначности) правила, которые используются в AI. Это может быть связано с добавлением дополнительных пояснений к тексту, который AI должен интерпретировать, или с изменением текста в соответствии с новыми потребностями.
2. **Промпт-ассистированные интерпретируемые ограничения (Prompt-Based Interpretive Constraints)**: Этот механизм аналогичен юридическим догме, которые помогают руководить судебным суждением. Мы предлагаем механизм, который может применяться к тому, как AI интерпретирует текст, чтобы уменьшить несогласованность и повысить точность его ответов. Этот механизм использует техники, такие как генеративная модель, для того, чтобы сформировать более точные интерпретации текста.
Мы использовали данные из WildChat dataset, который представляет собой 5000 сценариев для тестировани
Abstract
AI systems are increasingly governed by natural language principles, yet a
key challenge arising from reliance on language remains underexplored:
interpretive ambiguity. As in legal systems, ambiguity arises both from how
these principles are written and how they are applied. But while legal systems
use institutional safeguards to manage such ambiguity, such as transparent
appellate review policing interpretive constraints, AI alignment pipelines
offer no comparable protections. Different interpretations of the same rule can
lead to inconsistent or unstable model behavior. Drawing on legal theory, we
identify key gaps in current alignment pipelines by examining how legal systems
constrain ambiguity at both the rule creation and rule application steps. We
then propose a computational framework that mirrors two legal mechanisms: (1) a
rule refinement pipeline that minimizes interpretive disagreement by revising
ambiguous rules (analogous to agency rulemaking or iterative legislative
action), and (2) prompt-based interpretive constraints that reduce
inconsistency in rule application (analogous to legal canons that guide
judicial discretion). We evaluate our framework on a 5,000-scenario subset of
the WildChat dataset and show that both interventions significantly improve
judgment consistency across a panel of reasonable interpreters. Our approach
offers a first step toward systematically managing interpretive ambiguity, an
essential step for building more robust, law-following AI systems.
Ссылки и действия
Дополнительные ресурсы: