Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models
2508.02045v1
cs.CL
2025-08-09
Авторы:
Soyeon Kim, Jindong Wang, Xing Xie, Steven Euijong Whang
Резюме на русском
**Резюме**
Логические языковые модели (LLMs) становятся все более важной частью систем, работающих с временными данными. Однако оценка их точности в задачах временных вопросов-ответов (TSQA) становится сложной из-за недостатка скейлируемых и разнообразных бенчмарков. Мы предлагаем TDBench — новый метод оценки, основанный на временных базах данных. Он автоматически генерирует TSQA-пары, используя временные SQL-запросы и функциональные зависимости. Для точной оценки результатов LLMs мы предлагаем метрику time accuracy, которая выявляет не только верность ответов, но и определяет точность использования временных ссылок в разъяснениях. Наши эксперименты показали, что TDBench обеспечивает скейлируемую и широковещательную оценку LLMs в TSQA, уменьшая необходимость вручную создавать данные. Это расширяет область оценки LLMs, используя прикладные временные базы данных и позволяя выполнять многошаговые запросы.
Abstract
Facts evolve over time, making it essential for Large Language Models (LLMs)
to handle time-sensitive factual knowledge accurately and reliably. While
factual Time-Sensitive Question-Answering (TSQA) tasks have been widely
studied, existing benchmarks often rely on manual curation or a small, fixed
set of predefined templates, which restricts scalable and comprehensive TSQA
evaluation. To address these challenges, we propose TDBench, a new benchmark
that systematically constructs TSQA pairs by harnessing temporal databases and
database techniques such as temporal SQL and functional dependencies. We also
introduce a fine-grained evaluation metric called time accuracy, which assesses
the validity of time references in model explanations alongside traditional
answer accuracy to enable a more reliable TSQA evaluation. Extensive
experiments on contemporary LLMs show how \ours{} enables scalable and
comprehensive TSQA evaluation while reducing the reliance on human labor,
complementing existing Wikipedia/Wikidata-based TSQA evaluation approaches by
enabling LLM evaluation on application-specific data and seamless multi-hop
question generation. Code and data are publicly available at:
https://github.com/ssoy0701/tdbench.git.
Ссылки и действия
Дополнительные ресурсы: