Large Language Models for Oral History Understanding with Text Classification and Sentiment Analysis

## Контекст Оральная история является важной частью культурного наследия, особенно в контексте социальных и исторических трагедий, таких как инцидент инцидент японского населения США во времена Второй мировой войны. Этот исторический факт отражает широкие проблемы системного преследования и исторического забвения. Обработка гораздо большого масштаба таких архивов требует автоматизированных методов, которые могут избежать эмоциональной сложности и высоких затрат на аннотацию. Этот доклад описывает подход, основанный на нейросетевых моделях, который позволяет эффективно анализировать такие архивы, обеспечивая понимание и доступ к оральной истории. ## Метод Методология основывается на нескольких фазных этапах: подготовка данных, оптимизация моделей и выполнение экспериментов. Для подготовки данных использовалась техника "промптинга", которая позволяет сгенерировать качественные результаты с использованием моделей LLMs. Модели ChatGPT, Llama и Qwen использовались для лемматизации, классификации семантики и анализа тональности текста. Эти модели протестированы в задачах классификации семантики и анализа тональности, направленных на контекст японских американских инцидентов. Выборка данных составила 558 предложений из 15 интервью с разными историями. Эталонные данные были сгенерированы для проверки эффективности техники и моделей. ## Результаты Проведенные эксперименты показали высокую эффективность моделей в лемматизации и классификации. Модель ChatGPT показала наилучший результат в семантической классификации с F1-меры 88.71%, а Llama и Qwen показали близкие результаты (84.99% и 83.72% соответственно). Для анализа тональности модель Llama показала лучшую результативность (82.66%), следовали Qwen (82.29%) и ChatGPT (82.29%). Использование подходящих конфигураций "промптинга" позволило аннотировать 92,191 предложений из 1,002 интервью в JAIOH. Эти результаты подтверждают возможность LLMs для эффективности анализа оральных историй на большой шкале. ## Значимость Область применения этого подхода включает цифровые хранилища, исторические исследования, и цифровую культурную память. Важность этого исследования в том, что оно применяет новые технологии для улучшения доступа к таким историческим архивам, а также повышает уровень понимания исторических событий. Методы, описанные в этой работе, могут быть использованы для развития культурного наследия в разных регионах и для разных групп населения. ## Выводы Результаты экспериментов демонстрируют, что LLMs могут эффективно анализировать боль