Are Humans as Brittle as Large Language Models?

## Контекст Большие языковые модели (LLM) широко используются в различных приложениях, но их вывод часто является непоследовательным из-за недетерминированности процесса декодирования и характера запросов (prompts). Это неустойчивость может воспроизводить разногласия в поведении человеческих аннотаторов из-за потенциальных изменений в условиях задания. Несмотря на распространенное предположение о том, что отклонения в поведении LLMs отражаются в поведении людей, это не было до конца исследовано. Естественный вопрос: насколько чувствителен человек к изменениям в инструкциях, подобным тем, что встречаются в LLMs? Если ответ на этот вопрос положительный, то необходимо определить, является ли эта чувствительность проблемой или, наоборот, отражением общих человеческих признаков. Данная работа стремится заполнить этот промежуток в знаниях, сравнив чувствительность человеческих аннотаторов к модификациям инструкций с чувствительностью LLMs к модификациям запросов. ## Метод Для сравнения чувствительности человеческих аннотаторов и LLM к модификациям запросов было проведено систематическое исследование. В качестве тестовой задачи был использован текстовый классификатор, а как обучающие данные — набор текстов с привязанными к ним меток. Модификации запросов включали замену меток на альтернативные, изменение формата меток, добавление шума в форматировании и прочие типы модификаций. Для каждой модификации были проведены эксперименты с группами людей и с LLM, а результаты были измерены и сравнены с помощью метрик точности и разброса. ## Результаты Исследования показали, что и человеческие аннотаторы, и LLM оказались чувствительными к модификациям запросов, но различия в их поведении были заметны. Обе группы показали большую чувствительность к заменам меток и изменениям формата меток. Однако человеческие аннотаторы были менее чувствительны к типографским ошибкам и изменениям порядка меток в сравнении с LLM. Эти результаты указывают на то, что человеческие аннотаторы также чувствительны к изменениям в инструкциях, хотя именно в части типографских ошибок их чувствительность ниже, чем у LLM. ## Значимость Результаты этих исследований имеют значительное значение для понимания интерфейсов между человеческими аннотаторами и LLM. Они подтверждают, что чувствительность к изменениям в инструкциях является общим явлением в человеческом и искусственном анализе. Это указывает на возможность использования LLM для моделирования человеческого поведения при анализе текстов. Будущие исследования должны ориентироваться на развитие более у