DEPTH: Hallucination-Free Relation Extraction via Dependency-Aware Sentence Simplification and Two-tiered Hierarchical Refinement

## Контекст Современные большие языковые модели (LLM) доказали свою эффективность в решении задач реляционного выделения. Однако, несмотря на высокую точность в классификации семантических отношений, эти модели часто страдают от проблемы **"hallucination"** (выдуманности) — сущности, которые не существуют в данных, но все же упоминаются в результатах. Это происходит в ситуациях с синтаксически сложными предложениями или неоднозначными семантическими контекстами. Такие ошибки приводят к предсказанию сущностных связей, которые могут существенно замедлить процесс построения информационных графов и разрушить надежность системы. В этой работе мы сосредоточились на решении этих проблем, предлагая фреймворк DEPTH, который способен уменьшить ошибки и добиться более точных результатов. ## Метод Фреймворк DEPTH основывается на двух главных компонентах: 1) **Dependency-aware Sentence Simplification (DEP)** и 2) **Two-tiered Hierarchical Refinement (THR)**. 1. **DEP** — это модуль, ориентированный на упрощение предложений, призванный свести сложные синтаксические структуры к более простой форме, сохраняя важные семантические отношения. Для этого он использует концепции **Dependency Paths**, которые позволяют выделить важные сущности и отношения. Это позволяет уменьшить шум и улучшить устойчивость предсказаний. 2. **THR** — это двухуровневый подход, который включает локальное и глобальное рефинейммент. В **локальном рефинеймменте**, каждый парный контекст между сущностями оценивается отдельно, чтобы выявить искажения в предыдущем этапе. Затем, в **глобальном этапе**, все предсказания агрегируются, и система пересматривает все отношения в целостном контексте, устраняя случайные ошибки и добавляя контекстные коррекции. В дополнение, мы предлагаем **Causality-driven Reward Model**, который уменьшает влияние "spurious correlations" (случайных соотношений), например, когда модель "запоминает" некорректные сопоставления в процессе fine-tuning. Это позволяет добиться более качественной обучения с помощью reinforcement learning (RL) и human feedback (HF). ## Результаты Мы провели эксперименты на 6 различных бенчмарках (датасетах), включая **TACRED**, **NYT**, **ReVerb45K**, и др. Наша модель DEPTH показала следующие результаты: - **Accuracy**: DEPTH повысила F1-меру в среднем на 17.2% по сравнению с современными стандартными моделями. - **Hallucination Rate**: Мы существенно уменьшили халлуцинационный фактор до 7.0%, что значительно превышает исследовательские модели. - **Robustness**: Модель показала себя устойчивой к недостаткам в данных и синтаксическим сложностям, что было доказано в анализе на загрязнённых и нерегулярных данных. Эти результаты подтверждают, что DEPTH эффективно справля