Beyond the Surface: Enhancing LLM-as-a-Judge Alignment with Human via Internal Representations
2508.03550v1
cs.CL
2025-08-09
Авторы:
Peng Lai, Jianjie Zheng, Sijie Cheng, Yun Chen, Peng Li, Yang Liu, Guanhua Chen
Резюме на русском
На данный момент автоматизированное оценивание текстов с помощью великолепных языковых моделей, известных как "LLM-as-a-Judge", получило широкое распространение. Однако улучшение сходства с предпочтениями людей без громоздких подсказок или дорогостоящего файн-тюнинга остается вызовом. В данной работе авторы предлагают LAGER — легковесный и эффективный подход, основанный на экспериментальных находках, что слои среднего и верхнего уровня модели содержат полезные для задачи семантические представления, более совпадающие с человеческими оценками, чем финальный слой. LAGER улучшает точность оценок, аггрегируя матрицу заданий в разных слоях модели и используя дистрибутивную модель softmax, при этом без изменения фактического веса модели. Эта работа доказывает, что LAGER улучшает сходство с человеческими оценками до 7.5% по сравнению с лучшими базовыми моделями, а также продвигается вперед перед разумными методами, не прибегая к логическим шагам. Эксперименты в прикладных задачах, таких как выбор данных и распознавание эмоций, подтверждают эффективность LAGER.
Abstract
The growing scale of evaluation tasks has led to the widespread adoption of
automated evaluation using large language models, a paradigm known as
"LLMas-a-judge." However, improving its alignment with human preferences
without complex prompts or fine-tuning remains challenging. In this work,
motivated by preliminary findings that middle-to-upper layers encode
semantically and taskrelevant representations that are often more aligned with
human judgments than the final layer, we propose LAGER, a lightweight and
efficient framework for enhancing LLM-as-a-Judge alignment with human scoring,
via internal representations. LAGER produces fine-grained judgment scores by
aggregating cross-layer scoretoken logits and computing the expected score from
a softmax-based distribution, with the LLM backbone kept frozen. LAGER fully
leverages the complementary information across different layers, overcoming the
limitations of relying solely on the final layer. We evaluate our method on the
standard alignment benchmarks Flask, HelpSteer, and BIGGen using Spearman
correlation, and find that LAGER achieves improvements of up to 7.5% over the
best baseline across these benchmarks. Without reasoning steps, LAGER matches
or outperforms reasoning-based methods. Experiments on downstream applications,
such as data selection and emotional understanding, further show the
effectiveness of our method.
Ссылки и действия
Дополнительные ресурсы: