Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

#### Контекст Large language models (LLMs) значительно изменяют область социологических исследований, автоматизируя трудоемкие задачи, такие как аннотация данных и текстовый анализ. Однако выводы LLMs зависят от решений, которые принимают исследователи, таких как выбор модели, стратегия подсказок или настройки температуры. Эти отличия могут привести к систематическим уклонкам и случайным ошибкам, которые влияют на дальнейший анализ и приводят к ошибкам различного рода (Type I, Type II, Type S или Type M). Название этого явления — LLM hacking. Цель нашего исследования — оценить риски LLM hacking и разработать методы его снижения. #### Метод Мы проводили эксперименты с 37 задачами аннотации данных из 21 публикаций в области социальных наук, используя 18 различных LLMs. Обработав 13 миллионов меток, мы тестировали 2 361 гипотез, определяя, как различные реализационные решения влияют на статистические выводы. Наши эксперименты охватывают многие реалистичные сценарии использования LLMs в социологических исследованиях. #### Результаты Мы обнаружили, что примерно в треть случаев, если использовать выводы стандартных моделей, ведут к неверным статистическим выводам. У меньших моделей этот процент достигает половины. Мы обнаружили, что высокая точность модели и лучшая общая модельная качество снижают риск LLM hacking, но даже высокоточные модели не могут полностью исключить это риско. Также мы обнаружили, что чем больше эффектный размер, тем меньше риска ошибок, что подтверждает нужду в более строгих проверках значимости. Мы также проанализировали множество методов снижения LLM hacking, таких как жесткое верифицирование результатов, и показали, что значительное улучшение может быть достигнуто с помощью ручных аннотаций. #### Значимость Наше исследование имеет значительные приложения в социологических исследованиях, а также в других областях, где LLMs используются для автоматизации задач текстового анализа. Мы показали, что LLM hacking может привести к серьезным ошибкам в исследовательских выводах, что требует большей внимательности к процессу верификации данных. Мы также выявили преимущества использования ручных аннотаций в снижении false positive результатов и улучшении выбора моделей. Наши результаты также послужат основой для будущих исследований в области снижения LLM hacking. #### Выводы Наши исследования подтвердили, что LLM hacking является значительной проблемой для социологических исследований, но его риски могут быть существенно снижены при необходимости в строгих проверках значимости и поддержке ручных аннотаций. Мы также выявили, что LLM hacking требует новых подходов в области методо