STEM: Efficient Relative Capability Evaluation of LLMs through Structured Transition Samples

#### Контекст Изучение эффективности и потенциала больших языковых моделей (LLMs) является ключевым направлением в машинном обучении. Однако современные модели становятся все более сложными, что затрудняет их оценку. Обычные бенчмарки не всегда отражают реальную реалиятические ситуации. Также существуют проблемы с overfitting'ом, высокими затратами на ресурсы, и нехваткой транспарентных результатов. Необходимо разработать метод, который бы позволил сравнивать модели быстро и точно, не требуя огромных затрат на вычисления. STEM предлагает решение этих проблем, ориентируясь на свойства LLMs. #### Метод STEM (Structured Transition Evaluation Method) - это метод оценки LLMs, основанный на анализе "значимых переходов" (STS) в поведении моделей. Он использует последовательности моделей с разными параметрами внутри одной архитектуры. На основе этих переходов, STEM создает модель-контроль, сравнивая стабильные и нестабильные решения. Эта модель-контроль позволяет оценить модели, которые не входят в пул для сравнения напрямую. STEM эффективен так как ориентируется на конкретные случаи, а не на глобальные статистики. Он также интерпретируем и не требует вычислительных ресурсов на полной оценке всех моделей. #### Результаты STEM был протестирован на Qwen3 модели с разными параметрами. Использовались 6 разных бенчмарков, охватывающих различные аспекты языкового моделирования. Результаты показали, что STEM способен точно оценить модели и сравнить их по реальной реализации, а не только по бенчмаркам. Метод показал высокую точность в определении положения моделей в цепочке по сравнению с традиционными методами. Эксперименты подтвердили, что STEM значительно эффективнее и точнее, чем предыдущие подходы. #### Значимость STEM предлагает практический и эффективный подход к оценке LLMs, который может применяться во многих областях: от принятия решений в реальных условиях до создания стандартов для сравнения моделей. Он предлагает более точную и легко интерпретируемую оценку по сравнению с традиционными методами. Благодаря своей легковесности и интерпретируемости, STEM может стать ключевым инструментом для быстрой и точной оценки моделей без высоких затрат на ресурсы. #### Выводы Результаты исследования подтверждают, что STEM является эффективным инструментом для оценки LLMs, который может быть использован для сравнения моделей в разных условиях. Будущие исследования будут направлены на расширение этой методики для различных архитектур моделей и улучшение ее отказоустойчивости в разных сценариях. Это может привести к более широкому применению STEM в промышленных задачах.