Neither Valid nor Reliable? Investigating the Use of LLMs as Judges

## Контекст Оценка естественного языкового понимания (NLG) остается главной проблемой в области естественного языкового обработки (NLP). Эта проблема усложняется вследствие появления больших языковых моделей (LLMs), которые стремятся быть универсальными. В последнее время, LLMs, названные LLJs (LLMs as Judges, языковые модели в качестве оценщиков), представляют собой потенциальное альтернативное решение для традиционных метрик оценки. Однако их достоверность и валидность в качестве оценщиков до сих пор требуют глубокого исследования. Это работа подчеркивает, что нынешний энтузиазм вокруг LLJs может быть преждевременным, поскольку их использование продвинулось вперед без достаточного количества критических исследований по оценке их надежности и валидности. Используя теорию измерения из социальных наук, авторы проводят критическое исследование 4 основных предположений о том, как LLJs могут выступать в качестве прокси-оценщиков человеческого суждения, каким образом они могут оценивать результаты, насколько они масштабируемы, и как эффективны в своих затратах. ## Метод Авторы используют теорию измерения из социальных наук, чтобы рассмотреть 4 основных предположения о ЛЛМ-оценщиках. Они обобщают вопросы, связанные с возможностью ЛЛМ-оценщиков действовать в качестве прокси-инструментов для человеческих оценок, способностью оценивать результаты, масштабируемостью и экономичностью. Кроме того, они применяют эти подходы для оценки текстовой сводки, данных для аннотации и аспектов безопасности принятия решений. Авторы также приводят критическую интерпретацию, как эти технологии могут быть использованы для эффективной оценки языковых моделей. ## Результаты Авторы выполняют критический анализ каждого из предположений об LLJs. Они показывают, что, несмотря на то, что ЛЛМ-оценщики могут быть эффективными для определенных задач, они не всегда справляются с оценкой взаимосвязанных показателей, таких как безопасность и человечность. Эксперименты показывают, что ЛЛМ-оценщики могут иногда быть неточными в их оценках, особенно при работе с контекстуально-зависимыми задачами. Они также выявляют риски частичной зависимости от конкретных условий, которые могут вызвать недостоверность. ## Значимость Авторы подчеркивают, что ЛЛМ-оценщики могут быть полезны в некоторых ситуациях, но их возможности ограничены. Они желательны для задач, где требуется быстрая и удобная оценка, но могут не подходить для задач, требующих высокой точности и контекстуальной интерпретации. Это имеет зна