STEM: Efficient Relative Capability Evaluation of LLMs through Structured Transition Samples
2508.12096v1
cs.CL, cs.AI, cs.LG
2025-08-19
Авторы:
Haiquan Hu, Jiazhi Jiang, Shiyou Xu, Ruhan Zeng, Tian Wang
Резюме на русском
#### Контекст
Ларже лангуэйдж моделс (LLMs) становятся все более значимыми в системах AI за счет их увеличивающейся способности решать комплексные задачи. Однако, существуют значительные проблемы в их оценке. Начиная с высокого компьютерного воздействия полных оценок до широкого переобучения к общим бенчмаркам, оценка LLMs становится все более сложной. Особенно сложно выявить тонкие различия в поведении моделей при использовании традиционных методов. Это приводит к необходимости развития более эффективных, точных и стоимостно эффективных методов оценки LLMs. STEM (Structured Transition Evaluation Method) предлагается как инновационный подход для эффективной оценки LLMs, сосредоточенный на точной интерпретируемой оценке их реального воздействия.
#### Метод
STEM основывается на анализе изменения поведения LLMs в зависимости от их размера и архитектуры. Метод идентифицирует **significant transition samples (STS)** — ключевые сценарии, где LLMs с одинаковой архитектурой показывают значительные различия в поведении. Эти STS построены на основе широкого набора бенчмарков, охватывающих различные аспекты логического и реального мира. Фреймворк STEM использует эти STS для оценки того, как новая модель сравнивается с существующими. Эта методология является интерпретируемой, стоимостно эффективной и архитектурно-агностической, чтобы обеспечить точную оценку в реальном мире.
#### Результаты
Проведенные эксперименты показывают, что STEM сохраняет высокую точность при оценке моделей разных размеров. Используя Qwen3-фамлию моделей, STEM строит STS-sample на базе six современных бенчмарков. Оценки STEM соответствуют значительной части значений полных экспериментов, с моделями лучших результатов. Это подтверждает мощь метода в обеспечении точной оценки LLMs. Дополнительные эксперименты показали точность STEM в отношении точки сравнения разных моделей, как в малых, так и в больших подходах.
#### Значимость
STEM предлагает новый способ эффективной оценки LLMs, который может быть применен в различных областях, включая робототехнику, техническое письмо и языковую моделирование. STEM не требует высоких вычислительных затрат и позволяет тонкой оценке моделей. Этот подход улучшает способность AI-систем для решения реальных задач, сокращает время и стоимость оценки моделей, а также улучшает интерпретируемость результатов.
#### Выводы
STEM выявляет ключевые сценарии, которые эффективно оценивают LLMs, и демонстрирует возможность точных оценок в реальном мире. Дальнейшие исследования будут сосредотачиваться на расширении STS-sample на различные типы моделей и сценариев, а также на улучшении STEM для по
Abstract
Evaluating large language models (LLMs) has become increasingly challenging
as model capabilities advance rapidly. While recent models often achieve higher
scores on standard benchmarks, these improvements do not consistently reflect
enhanced real-world reasoning capabilities. Moreover, widespread overfitting to
public benchmarks and the high computational cost of full evaluations have made
it both expensive and less effective to distinguish meaningful differences
between models. To address these challenges, we propose the \textbf{S}tructured
\textbf{T}ransition \textbf{E}valuation \textbf{M}ethod (STEM), a lightweight
and interpretable evaluation framework for efficiently estimating the relative
capabilities of LLMs. STEM identifies \textit{significant transition samples}
(STS) by analyzing consistent performance transitions among LLMs of the same
architecture but varying parameter scales. These samples enable STEM to
effectively estimate the capability position of an unknown model. Qwen3 model
family is applied to construct the STS pool on six diverse and representative
benchmarks. To assess generalizability. Experimental results indicate that STEM
reliably captures performance trends, aligns with ground-truth rankings of
model capability. These findings highlight STEM as a practical and scalable
method for fine-grained, architecture-agnostic evaluation of LLMs.
Ссылки и действия
Дополнительные ресурсы: