AIRwaves at CheckThat! 2025: Retrieving Scientific Sources for Implicit Claims on Social Media with Dual Encoders and Neural Re-Ranking

#### Контекст В условиях повсеместного использования социальных сетей в качестве источников информации возникает критически важная проблема — точного сопоставления неявных утверждений, сделанных в социальных медиа, с их источниками в научной литературе. Это необходимо для эффективного доказательства фактов, ноу-хау-создания и развития научных дискуссий. Однако это задача сложная из-за lexical sparsity (ограниченности лексического варианта), очень коротких запросов и доменно-ориентированной лексикографии, которые существенно затрудняют обнаружение соответствий. На CLEF-2025 CheckThat! LAB в рамках Subtask 4b, посвященном этому вопросу, команда AIRwaves стала второй, предложив мощный и эффективный подход к решению данной проблемы. #### Метод Выполнение этой задачи предлагается в двух этапах. На первом этапе применяется алгоритм sparse retrieval, оптимизированный с использованием BM25. На втором этапе вводится новая архитектура, основанная на dual encoder и neural re-ranking. Dual encoder тренируется на большом датасете с использованием in-batch и mined hard negatives, а также чанкированием токенов и добавлением дополнительной метаинформации в документы. Для дополнительной оценки релевантности используется SciBERT cross-encoder для neural re-ranking. Этот подход позволяет сильно повысить качество сравнения запросов и документов, превратив лишь lexical matching в размерность нейронных представлений. #### Результаты Проведенные эксперименты показали высокую эффективность предложенного подхода. На gold label blind test set, стандартный sparse retrieval (BM25) показал MRR@5 = 0.5025. Однако использование dual encoder способствовало повышению результатов до MRR@5 = 0.6174, а полностью модель, включающую neural re-ranking, показала совершенно новый результат — MRR@5 = 0.6828. Это значительно превосходит остальные конкуренты и демонстрирует эффективность комбинации dense retrieval с neural re-ranking в решении задачи tweet-to-study matching. #### Значимость Предложенный подход имеет широкие применения в области evidence-based fact-checking, scientific discourse и academic research. Он обеспечивает более точное и эффективное сопоставление неявных утверждений со своими источниками, что повышает качество контента и помогает улучшить трансформационные процессы в науке. Решение также демонстрирует возможности neural re-rankers в улучшении sparse retrieval, что может быть применено в других областях, где требуется высокоточное соотнесение коротких запросов с документами. #### Выводы Проведенные исследования демонстрируют, что модель AIRwaves представляет собой эффективное и надежное решение для tweet-to-study matching. Она улучшает значительно качество сравнения запросов и документов, используя dual encoder и neural re-ranking. Будущие исследования будут фокусироваться на расширении датасетов, улучшении cross-encoder и исследовании других моделей, по