UNH at CheckThat! 2025: Fine-tuning Vs Prompting in Claim Extraction

#### Контекст Задача CheckThat! 2025 по Task 2 English сосредоточена на выделении "проверяемых утверждений" из социальных медийных текстов. Это ключевая задача в области обнаружения и подтверждения истинности информации, что востребовано в условиях широкого распространения ложной информации. Существующие методы, такие как машинное обучение и естественное обучение с подкреплением, сталкиваются с проблемами, такими как недостаточная точность и необходимость больших объемов данных для обучения. Наша мотивация состоит в том, чтобы изучить и сравнить различные подходы к этой задаче, включая векторизацию, трансформеры и методы построения контекстной модели. #### Метод Мы использовали множество методов обучения для сравнения. Эти методы включали в себя: - **Прототипы моделей**: FLAN-T5, T0, GPT-4. - **Обучающие подходы**: векторизация входных данных, трансформеры для понимания языка, методы в контекстной модели. - **Алгоритмы**: глубокое обучение, трансформеры, методы построения контекстной модели. - **Оценка**: Мы применяли метрики, такие как МЕТЕОР, Раундхаус и BLEU, для оценки качества выделения утверждений. #### Результаты Мы провели эксперименты, используя данные из CheckThat! 2025. Наши модели были подготовлены на основе FLAN-T5 с разными подходами к обучению. Модель FLAN-T5, подготовленная с помощью метода fine-tuning, показала наилучший результат с МЕТЕОР-скоростью ~0.85. Однако, даже модели с более низким МЕТЕОР-скором давали выделить высококачественные утверждения, что подчеркнуло неоднозначность результатов. Мы также обнаружили, что подходы с трансформерами и векторизацией, такие как BERT, показали высокую эффективность при определенных условиях. #### Значимость Полученные результаты имеют значимость для развития технологий выделения проверяемых утверждений. Мы показываем, что модели, использующие трансформеры и методы построения контекстной модели, показывают высокую эффективность в задачах по борьбе с ложной информацией. Наш метод может быть применен в медиамониторинге, поиске информации и мониторинге социальных сетей для выявления и подтверждения проверяемых утверждений. #### Выводы Мы достигли существенных улучшений в методах выделения проверяемых утверждений с помощью методов fine-tuning и трансформеров. В будущем мы планируем расширить объем тренировочных данных, использовать более разнообразные модели и применить методы автоматического мониторинга для более точного выделения проверяемых утверждений. Эта работа может способствовать повышению уровня качества информации в интернете и в