LLMEval-3: A Large-Scale Longitudinal Study on Robust and Fair Evaluation of Large Language Models
2508.05452v1
cs.CL
2025-08-09
Авторы:
Ming Zhang, Yujiong Shen, Jingyi Deng, Yuhui Wang, Yue Zhang, Junzhe Wang, Shichun Liu, Shihan Dou, Huayu Sha, Qiyuan Peng, Changhao Jiang, Jingqi Tong, Yilong Wu, Zhihao Zhang, Mingqi Wu, Zhiheng Xi, Mingxu Chai, Tao Liang, Zhihui Fei, Zhen Wang, Mingyang Wan, Guojun Ma, Tao Gui, Qi Zhang, Xuanjing Huang
Резюме на русском
Научная статья LLMEval-3 предлагает рамку для динамической оценки моделей текстового понимания и построения ответов (LLMs), которая преодолевает ограничения статических бенчмарков, связанные с заражением данными и переобучением. Основной проблемой является то, что статические бенчмарки не могут тщательно отслеживать изменения моделей в реальном времени, что приводит к неточности оценки. LLMEval-3 решает эту проблему путем использования большого проприетарного банка вопросов уровня колледжа и динамического создания невидимых наборов тестовых данных для каждой оценки. Рамка включает протоколы, обеспечивающие честность, с помощью журналинга LLM-ас-a-judge и системы рейтинга, обеспечивающих справедливую оценку. Длительное 20-месячное исследование показало, что LLMEval-3 обеспечивает стабильность и четкость результатов, выявив ограничения моделей в запоминании знаний и открыв проблемы с заражением данными. Это динамическое решение предлагает надежный и эффективный подход для более точной оценки LLM-ов.
Abstract
Existing evaluation of Large Language Models (LLMs) on static benchmarks is
vulnerable to data contamination and leaderboard overfitting, critical issues
that obscure true model capabilities. To address this, we introduce LLMEval-3,
a framework for dynamic evaluation of LLMs. LLMEval-3 is built on a proprietary
bank of 220k graduate-level questions, from which it dynamically samples unseen
test sets for each evaluation run. Its automated pipeline ensures integrity via
contamination-resistant data curation, a novel anti-cheating architecture, and
a calibrated LLM-as-a-judge process achieving 90% agreement with human experts,
complemented by a relative ranking system for fair comparison. An 20-month
longitudinal study of nearly 50 leading models reveals a performance ceiling on
knowledge memorization and exposes data contamination vulnerabilities
undetectable by static benchmarks. The framework demonstrates exceptional
robustness in ranking stability and consistency, providing strong empirical
validation for the dynamic evaluation paradigm. LLMEval-3 offers a robust and
credible methodology for assessing the true capabilities of LLMs beyond
leaderboard scores, promoting the development of more trustworthy evaluation
standards.
Ссылки и действия
Дополнительные ресурсы: