HICode: Hierarchical Inductive Coding with LLMs

## Контекст В современных исследованиях, особенно в области естественной языковой обработки, анализ больших текстовых корпусов является ключевым заданием. Однако существующие подходы, такие как методы тематического моделирования, часто либо недостаточно точны, либо требуют ручного вмешательства, что не эффективно при работе с крупными данными. Ручной метод методического кодирования, широко распространенный в качестве альтернативы, тоже имеет свои ограничения: он немасштабируемый, непоследователен и может влечь за собой субъективность аналитика. Для преодоления этих трудностей, авторы предлагают подход, использующий глубокое обучение, чтобы улучшить точность и масштабируемость кодирования для получения более глубоких и тщательных анализов. ## Метод HICode — это двухэтапная модель, призванная эффективно автоматизировать процесс кодирования в некоторых фазе исследования. Она состоит из двух частей: **индуктивного кодирования** и **иерархического кластеризации**. В первой фазе, генерация тегов происходит непосредственно из анализируемого текста, используя технологию глубокого обучения. Эта технология настраивается на задачу поиска подходящих меток для данных. Во второй фазе, полученные метки вложены в иерархию, чтобы обнаружить темы, которые могут быть неочевидными в исходных данных. Эта модель предлагается как независимая от языка и применимая к различным типам данных, включая тексты, аудио и видео. ## Результаты HICode была протестирована на трех различных корпусах данных, включая рецензии к фильмам, сообщения в социальных сетях и отзывы о продуктах. Модель показала высокую точность в соответствии с людскими темами, проанализированными вручную. Запуски экспериментов демонстрируют, что полученные результаты соответствуют профессиональному методическому кодированию в качестве стандарта. Также были проведены испытания на реальных данных, включая документы, связанные с кризисом наркотиков в США. Эти испытания показали, что HICode может обнаруживать затененные темы, такие как провокационные маркетинговые стратегии. ## Значимость Результаты HICode показывают большой потенциал модели в различных областях, включая юридический анализ, маркетинг, социальные исследования и литературные исследования. Основное преимущество этого подхода в том, что он увеличивает масштабируемость и точность анализа, обнаруживая темы, которые могут быть недоступны для ручного анализа. Благодаря этому, модель может существенно сэкономить время исследователей и улучшить качество анализа текстового контента.