Reference-Free Rating of LLM Responses via Latent Information

#### Контекст В последние годы становится все более очевидным, что генеративные модели естественного языка (LLM) расширяют возможности широкого круга приложений, включая роботы-консультанты, поисковые системы и анализ текстов. Однако одним из ключевых вопросов остается способ оценки качества ответов этих моделей. Несмотря на популярность способов, основанных на сравнении ответов с маркированными данными (референсами), такие подходы не всегда применимы в ситуациях, когда такие референсы отсутствуют. Также возникают проблемы с неоднозначностью оценки, неустойчивостью под выборкой и ограниченной детерминированностью результатов. Мы исследуем возможность оценивать ответы моделей без референса, используя внутренние сигналы модели, чтобы получить более точные и детерминированные результаты. #### Метод Мы предлагаем Latent Judges, метод использования внутренних сигналов модели для получения детерминированных оценок ответов. Этот подход включает в себя три основных компонента: 1. **Пробы (Probes):** Оценка ответов с помощью линейных моделей, протечка информации из внутренних слоев модели. 2. **Проверщики (Verifiers):** Модели, оценивающие вероятность того, что ответ верный, используя методы похожие на семантические проверки. 3. **Вероятностно-взвешенные оценки (Probability-Weighted Scores):** Метод, в котором ответы ставятся в числовой диапазон на основе вероятностного распределения модели. Каждый из этих методов использует специфические сигналы модели, позволяя получать более точные и детальные оценки ответов без сравнения с референсами. #### Результаты Мы проверили Latent Judges на широком наборе тестов, включая многоклассовые и парные оценки ответов. Наши результаты показали, что этот подход не только соответствует, но и превосходит стандартные методы оценки без референса, особенно в случае парной оценки и сортировки ответов в порядке важности (Best-of-N). Общая точность поднялась на 10-20%, при этом улучшивсья качественно оценка ответов. Также были изучены вопросы неоднозначности и стабильности результатов, а также показано, как различные методы Latent Judges справляются с этими вызовами. #### Значимость Предложенные методы Latent Judges открывают новые возможности для детерминированных и тонко настраиваемых оценок ответов LLM. Это может иметь большое значение в следующих областях: - **Контроль качества ответов:** Улучшенное средство для подбора лучшего ответа в мультимодельных системах. - **Обучение и адаптация моделей:** Более точные метрики для оценки прогресса и корректности обучения. - **Анализ текстов и рекомендаци