Neither Valid nor Reliable? Investigating the Use of LLMs as Judges

## Контекст Оценка естественного языкового потока (NLG) остается значитейю проблемой в области NLP. Развитие крупных языковых моделей (LLMs), предназначенных для широкого применения, добавляет сложности к этой задаче. Хотя LLMs предлагаются как общего назначения, их применение в качестве оценщиков NLG-систем (LLJs) все еще требует дополнительных исследований. Несмотря на возрастающую популярность LLJs, их надежность и валидность как оценщиков находятся в стадии развития. Это решение подчеркивает необходимость взвешенного подхода к использованию LLJs и вызовет расширение знаний в этой области. ## Метод Мы использовали теорию измерения из социальных наук для оценки LLJs. Эта теория определяет требующие дополнительного исследования предположения: 1) характер личности LLJs в качестве прокси-оценки, 2) значимость их оценки, 3) издержки и простоту их использования, 4) их походность и действительность в различных контекстах. Наш подход также включает эксперименты, которые исследуют непосредственное применение LLJs в трех реалиях: суммаризации текстов, классификации данных и выравнивании безопасности. ## Результаты Исследования показали, что LLJs могут быть эффективными в некоторых случаях, но их ограничения, такие как трудность в подтверждении значения, стабильность и возможность вывода, достигаются только при ограниченном наборе данных. Например, оценка LLJs в области суммаризации показала, что их модели могут быть несправедливы и недостоверны, а косвенность в тестировании данных приводит к несогласованным выводам. ## Значимость Применение LLJs может быть полезно в области тестирования языковых моделей, но, как показали исследования, требуется развитие подходов для улучшения надежности и стоимости их использования. Эти результаты могут иметь важное значение для развития методологии тестирования NLP. ## Выводы Мы выдвигаем, что текущая практика использования LLJs в качестве NLG-оценщиков необходимо принять с большей внимательностью. Наше исследование открывает путь к будущим исследованиям, которые станут основой для развития более достоверных, эффективных и надежных методов оценки естественного языкового потока.