GDLLM: A Global Distance-aware Modeling Approach Based on Large Language Models for Event Temporal Relation Extraction

#### Контекст Научное исследование ориентируется на область естественного языкового процессинга (NLP), а точнее, на задачу извлечения временных отношений событий (Event Temporal Relation Extraction, ETRE). Это задача, направленная на определение взаимосвязей между событиями в тексте, такими как предшествование, совпадение или последовалое следование. Несмотря на то, что языковые модели (LLMs) доказали свою эффективность в этой области, они сталкиваются с рядом проблем. Малые языковые модели (SLMs) страдают от ограниченного предварительно обученного знания, что приводит к неэффективности в работе с малочисленными классами в несбалансированных датасетах. Для LLMs применяются ручно сконструированные как стимулы (prompts), что может привести к лишней шумности и помехам в выводе модели, особенно при работе с зависимостями между событиями на больших расстояниях. Эти ограничения вдохновили разработку **GDLLM** — нового подхода, основанного на LLMs, который не только учитывает глобальные зависимости, но и повышает точность в работе с небольшими классами классификации. #### Метод Методология **GDLLM** основывается на двух ключевых компонентах. Во-первых, предлагается дистанционно-отзывчивая графовая структура, построенная на основе Graph Attention Network (GAT), которая позволяет языковой модели лучше учитывать зависимости на больших расстояниях. Во-вторых, введена парадигма обучения функций времени (temporal feature learning paradigm), основанная на мягком инференсе (soft inference). Она способствует лучшему распознаванию отношений событий, имеющих близкое расстояние, и интегрирует мощь пробабольных выводов LLMs в механизм множественного внимания (multi-head attention). Объединение этих компонентов обеспечивает эффективную обработку данных, улучшает восприятие далеких зависимостей и увеличивает точность работы модели, особенно в случае малочисленных классов. #### Результаты Выполнены эксперименты с использованием двух открытых датасетов: TB-Dense и MATRES. Замеры показали, что **GDLLM** обеспечивает значительное улучшение качества работы, особенно в сравнении с предыдущими моделями. Она показала свою эффективность в распознавании малочисленных классов в несбалансированных датасетах и, в целом, демонстрирует лучшую общую точность. Эти результаты подтверждают то, что **GDLLM** не только расширяет границы возможностей LLMs в задачах ETRE, но и становится значительным шагом в направлении более точного и универсального понимания текстов. #### Значимость Разработанный подход имеет широкое применение в различных областях, включая медицину, финансы, юриспруденцию и другие, где распознавание временных отношений явля