## Контекст М MODERN INFORMATION SOCIETY FACES A SIGNIFICANT CHALLENGE: THE RAPID SPREAD OF MISINFORMATION. Точность и достоверность в сфере информации становятся крайне важными, особенно в свете последствий распространения ложных сведений во времена кризисов и политических событий. Факт-чеккинг, традиционно выполняемый человеком, требует больших ресурсов и знаний, что делает его масштабированием дорогостоящим и неэффективным. AI-помогающие технологии, в частности, large language models (LLMs), предлагают выход из этой ситуации, обеспечивая автоматизацию процесса верификации фактов. Однако остается неясно, насколько эффективны эти модели в разных географических и культурных контекстах. В данном исследовании рассматриваются эти проблемы, а также проводится оценка того, насколько эти модели могут обеспечить достоверность и эксплуатируемость в разных странах и регионах. ## Метод В ходе исследования использовались 9 established LLMs различных категорий: от open-source до closed-source, от малых моделей до больших, с разными архитектурами и функциями умственного моделирования. Тестировались 5,000 фактов, проверенных ранее 174 профессиональными организациями в 47 языках. Методы включали в себя test generalizability на claims, не входящих в обучающие данные, и использовались four prompting strategies, чтобы эмулировать работу как обычных пользователей, так и профессиональных fact-checkers. Для подтверждения результатов использовались 240,000 human annotations в качестве ground truth, чтобы подтвердить анализ и выявить системные ошибки и модельные погрешности. ## Результаты Открытые модели с меньшим размером показали высокую уверенность в своих ответах, но со слабой точностью. Более крупные модели, в свою очередь, демонстрировали точность, но испытали проблемы с уверенностью в своих выводах. Эти результаты подтвердили неожиданное явление, похожее на Dunning-Kruger effect: small models ошибаются чаще, но с уверенностью, а large models могут быть точными, но с растратой на уверенность. Заметные различия замечены в области нон-английских языков и claims из Global South, что указывает на потенциальное усиление информационных неравенств. ## Значимость Эти результаты могут быть применены в разных сферах, включая media literacy, policy-making и global information equality. Изученный эффект подчеркивает риски, связанные с использованием небольших моделей в ресурс-constrained организациях, что может привести к неточным выводам в целом. Набор данных и тесты могут служить benchmark для последующих исследований в области AI-помогающих технологий в fact-checking. ## Выводы Изученные модели LLMs демонстрируют противоречивые результаты в зависимости от размера и архитектуры. Smaller models выдают высокую уверенность, но низку

## Контекст Современные социальные сети являются важной источником информации, но при этом являются местом распространения слухов и неточной информации. Детекция слухов (rumor detection) является важной задачей для обеспечения надежности информации и защиты общества от вредоносных влияний. Несмотря на то, что существуют ряд моделей, основанных на графах, для решения этой задачи, они часто исходят из предположения, что деревья распространения лжи (rumor propagation trees, RPTs) имеют глубокие структуры. Однако статистический анализ данных реальных социальных сетей показывает, что большинство узлов RPT имеют очень глубины 1 или 2, что отличается от предположений этих моделей. Эта несоответствие моделей к реальным данным создает мотивацию для развития более эффективных подходов к обучению. ## Метод Мы предлагаем метод Rumor Adaptive Graph Contrastive Learning (RAGCL), который адаптивно увеличивает подграфы с помощью сгенерированных видов (views), опираясь на центральность узлов. Этот подход нацелен на то, чтобы сосредоточить обучение на ключевых подграфах, характеризующихся более высокой структурной интенсивностью. Мы определили три принципа для адаптивного увеличения подграфов: 1. Исключение корневых узлов из аугментации. 2. Удержание узлов с глубиной 1 или выше. 3. Отбор узлов из глубин, где их порядок не слишком сильно отличается от корня. Для генерирования видов мы применяем методы случайного удаления узлов, маскирования атрибутов и удаления ребер, при этом веса удаления определяются прототипов центральности. Это позволяет создавать разные виды для обучения модели, что улучшает ее устойчивость и точность. ## Результаты Мы проводили эксперименты на четырьмя бенчмарковыми наборами данных, которые широко используются для задачи детекции слухов. Модель RAGCL демонстрирует превосходство по метрикам F1-score и AUC в сравнении с текущими лидерами, такими как GCN, GAT и GraphSAGE. Эти результаты подтверждают то, что RAGCL эффективно учитывает широкую структуру RPTs и устойчив к изменениям в структуре данных. ## Значимость Результаты RAGCL имеют значительное влияние на область детекции слухов в социальных сетях. Они позволяют улучшить точность и стабильность моделей, опираясь на более точное понимание структуры данных. Более того, адаптивные техники аугментации, предложенные в рамках этой модели, могут быть применены в других задачах, включая обработку данных с деревовой структурой, например, в моделях для логического семантического понимания текста или биоинформатики. ## Выводы В результате нашего исследования мы показали, что RPTs в реальных дан