DS@GT at CheckThat! 2025: A Simple Retrieval-First, LLM-Backed Framework for Claim Normalization

#### Контекст Область исследования Claim Normalization является ключевой задачей в системах автоматического факт-чеккинга, поскольку она занимается преобразованием шумных данных, таких как социальные медиа посты, в нормализованные утверждения. Эти утверждения, в свою очередь, используются в задачах классификации достоверности. CheckThat! 2025 Task 2 посвящено эту задачу и содержит 20 языков разделенных на монолингвальные и нулевые задачи. Целью работ является разработка эффективного метода для нормализации утверждений, чтобы улучшить точность факт-чеккинга. Было выделено, что существующие подходы часто сталкиваются с проблемами стабильности и точности при обработке различных языков, что мотивировало разработку более универсальных решений. #### Метод Предложенная архитектура DS@GT представляет собой **семантический поиск с динамической моделью стимула**. Основная идея заключается в том, чтобы либо использовать модель GPT-4o-mini с генерируемыми при мгновенье входными примерами, либо выбирать наиболее подходящий экземпляр из обучающих данных. Для этого используются специально подготовленные контексты для GPT-4o-mini, позволяющие ему лучше понять интенцию запроса и сформировать достоверное нормализованное утверждение. Также в качестве второго подхода используется поисковая система, которая ищет ближайшее нормализованное утверждение в обучающих данных. Двухэтапный подход позволяет гибко адаптироваться к различным типам данных и языковых традиций. #### Результаты На официальном тестовом наборе DS@GT показала стабильную работу, особенно в монолингвальных языках. Заняла первое место в 7 из 13 языков, демонстрируя высокую точность в нормализации. Однако применение в нулевой задаче сталкивается с ограничениями, так как модель не всегда может адекватно обрабатывать новые языки и стили. Это указывает на необходимость дальнейших улучшений в области динамической моделирования контекста и обработки новых данных. Данные результаты подтверждают эффективность архитектуры в монолингвальных задачах и выявляют зоны узких мест для дальнейшего исследования. #### Значимость Система DS@GT может быть применена в системах факт-чеккинга, где нужна стабильная и точная обработка нормализации утверждений. Основные преимущества заключаются в универсальности, гибкости и низком потреблении ресурсов. В то же время, ограничения в нулевой задаче подчеркивают необходимость развития методов адаптации к новым языкам. Результаты демонстрируют, что такой подход может стать основой для будущих исследований в об