#################### ## Контекст #################### Распространение дезинформации превышает границы языков и культур, что создает сложные вызовы для моделей искусственного интеллекта. Хотя transformer-based language models показали замечательные результаты в обнаружении дезинформации на языке английском, их эффективность в многоязычных условиях остается неясной. Этот факт мотивирует исследователей расширить гибкость и полноту моделей, чтобы они могли анализировать дезинформацию на разных языках. Основной мотивацией является необходимость создания моделей, которые могут правильно различать фальшивые утверждения от истинных в разных языковых и культурных контекстах, помогая таким образом бороться с распространением дезинформации. #################### ## Метод #################### Для решения этой проблемы авторы предлагают систематическую оценку пяти моделей трансформеров: mBERT, XLM, XLM-RoBERTa, RemBERT и mT5, примененных к задаче классификации "фальшивого утверждения против истинного". Использование пяти моделей позволило провести сравнительный анализ их эффективности. Для тестирования, разработчики представили PolyTruth Disinfo Corpus — большой корпус данных, состоящий из 60,486 пар утверждений (фальшивое утверждение и фактическая коррекция), представленных на 25 языках. Данные включают различные тематики, такие как политика, здравоохранение, климат, финансы и конспирации. Многие из этих утверждений были проверены на фактность, используя расширенный MindBugs Discovery Dataset. Методы включали обучение моделей на ограниченных ресурсах и оценку их возможности работать в многоязычных условиях. #################### ## Результаты #################### Эксперименты показали различия в поведении моделей. Модель RemBERT проявила высокую точность в целом, особенно в условиях нехватки данных. Модели mBERT и XLM показали значительные ограничения при недостатке тренировочных данных. Эти результаты указывают на то, что выбор модели зависит от конкретных условий, в том числе доступности данных и тематики дезинформации. Было проведено подробное анализирование этих отличий, чтобы выявить узкие места и потенциал моделей в многоязычных условиях. #################### ## Значимость #################### Предложенный подход имеет значительное значение в области борьбы с международной дезинформацией. Модели, протестированные в PolyTruth Disinfo Corpus, могут использоваться в различных сферах, включая социальные сети, новостные ресурсы и политические аналитические системы. Многоязычность моделей позволяет расширить их применение за рубежом, что делает их полезными для международных организаций и правоохранительных органов. Этот подход также может способствовать развитию новых технологи

#### Контекст В области информационной безопасности важность анализа и автоматизации процесса связывания атак с уязвимостями несомненна. Несмотря на то, что уязвимости часто остаются незамеченными даже после их эксплуатации, их активное использование во время атак может обеспечить важные сведения о слабых местах систем. Установление связи между атаками и уязвимостями не только позволяет значительно сократить время отклика на инциденты, но и повышает эффективность защиты систем. Однако решение этой задачи вручную, особенно в больших объемах данных, невозможно, что приводит к потребности в автоматизированных системах. Текущая исследоательская работа адресует эту проблему, оценивая различные модели трансформации предложений с целью выявления подходящих уязвимостей. #### Метод Для решения проблемы связывания атак с уязвимостями были использованы 14 современных моделей трансформации предложений, включая Sentence-BERT, MiniLM и MPNet. Модели были обучены классифицировать текстовые описания атак и связывать их с уязвимостями из Common Vulnerabilities and Exposures (CVE) репозитория. Основной фокус был уделен модели Multi-QA-MPNet-base-dot-v1 (MMPNet), которая была оценена на специально подготовленных данных, содержащих технические описания атак. Результаты экспериментов были измерены с помощью метрик F1-score, precision и recall. #### Результаты Результаты экспериментов показали, что MMPNet достигла F1-score в 89.0, precision в 84.0 и recall в 94.7 при классификации описаний атак. Было обнаружено, что 56% уязвимостей, выявленных моделью, соответствуют уязвимостям, перечисленным в CVE, в сочетании с их атаками. Дополнительно, 61% уязвимостей, выявленных моделью, соответствуют таким, как описаны в CVE. Это позволяет судить о высокой эффективности модели в выявлении связанных уязвимостей. Было также выявлено, что 275 уязвимостей, выданных моделью, не были документированы в репозитории MITRE, что может указывать на новые находки в области безопасности. #### Значимость Результаты этой работы могут быть применены в области автоматизации мониторинга безопасности, позволяя системам быстрее и эффективнее реагировать на инциденты. Также модель MMPNet может использоваться для поиска новых уязвимостей, которые еще не описаны в репозиториях. Важно отметить, что этот подход может существенно сократить время, в течение которого уязвимости остаются необнаруженными и эксплуатируемыми, что повышает уровень защиты систем. #### Выводы Результаты исследования демонтстрируют, что модель MMPNet является высокоэффективной для связывания атак с уязвимостями. В даль

#### Контекст Область исследования связана с применением методов глубокого обучения в задачах классификации и анализа текста, а также с поиском способов улучшения интерпретируемости моделей. Несмотря на высокую точность современных моделей NLP, их решения часто остаются непонятными для пользователей, что сказывается на доверии к их результатам. В этой статье авторы адресуют эту проблему, сосредотачиваясь на развитии моделей, которые не только демонстрируют высокую точность, но и обеспечивают понятную визуализацию принятых решений. Отдельно отмечается, что существующие подходы к регуляризации моделей часто теряются между компромиссом между точностью и интерпретируемостью. Мотивацией для этой работы является необходимость создания моделей, которые были бы как эффективными, так и прозрачными. #### Метод Авторы предлагают архитектуру двухголовенной нейронной сети, названную RieszNet. Она состоит из двух подсетей: одной, которая предсказывает класс текста, и другой, которая оценивает эффект текстового признака (например, слова) на класс. Эта многозадачная архитектура позволяет одновременно выполнять классификацию и анализ влияния отдельных факторов на результат. Алгоритм призван решать две задачи: точно классифицировать текст и предоставить понятное объяснение решения. Авторы используют RieszMonte Carlo-аппроксимацию для точного вычисления эффектов и улучшают их стабильность и точность. #### Результаты Для проверки модели был проведен эксперимент на двух наборах данных: синтетических Civil Comments и реальных IMDB-рецензиях. Результаты показали, что CausalSent уменьшает Mean Absolute Error (MAE) для оценки эффектов на 2-3 раза по сравнению с моделью Bansal et al. На IMDB-данных, например, CausalSent показала MAE в 2.9%, в то время как Bansal et al. получили 7.8%. Кроме того, авторы провели случайный эксперимент на слове "love" в IMDB-данных и обнаружили, что его присутствие повышает вероятность положительного отзыва на 2.9%. Эти результаты выявили важность слова "love" в формировании положительного сентимента. #### Значимость Результаты CausalSent имеют значительное значение для приложений в области медицины, финансов и маркетинга, где точность классификации и интерпретируемость решений критически важны. Интерпретация моделей позволяет пользователям понять условия, под которыми они работают, и уменьшить риск ошибок принятия решений. Авторы отмечают, что интерпретируемые модели не только повышают доверие к результатам, но и облегчают отладку и тестирование моделей. Это делает их привлекательными для приложений, где понимание причинных связей имеет решающее значение. #### Вывод