Do small language models generate realistic variable-quality fake news headlines?

#### Контекст Малые языковые модели (МЯМ) способны генерировать текст и могут быть использованы для создания поддельных новостных заголовков. В статье рассматривается возможность использования МЯМ для генерирования поддельных новостных заголовков, а также оценивается их качество и подлинность по сравнению с реальными. Это проблематично, поскольку поддельные новости могут использоваться для массового обмана или дестабилизации общественного мнения. Данное исследование фокусируется на оценке качества генерируемых заголовков и их схожести с реальными новостными заголовками. #### Метод Исследование основывается на 14 МЯМ различных размеров (от 1,7 до 14 миллиардов параметров), включая LLaMA, Gemma, Phi, SmolLM, Mistral и Granite. На этих моделях применялась управляемая техника продвижения запроса (prompt engineering) для создания 24 000 новостных заголовков в двух категориях: низкокачественных и высококачественных поддельных. Далее, использовались существующие модели для оценки качества новостных заголовков, включая DistilBERT и сборщики классификаторов. Это позволило измерить точность классификации качества заголовков и проверить их применимость к тестируемым МЯМ. #### Результаты Результаты показали, что МЯМ обеспечивают высокую точность генерации заголовков в обоих категориях, но существуют небольшие различия в поведении моделей с разными параметрами. Несмотря на то, что модели обычно соответствуют запросу, иногда возникали исключения. Оценка качества заголовков показала, что машинные модели часто смешивали высококачественные и низкокачественные заголовки, с долей точности от 35,2% до 63,5%. Это свидетельствует о сложностях в определении качества заголовков и в том, что МЯМ не всегда генерируют реалистичные заголовки. #### Значимость Результаты имеют значимость для различных областей, включая мониторинг массовых сетей, обнаружение поддельных новостей и развитие технологий противодействия фальсификации. МЯМ могут быть применены для создания более реалистичных поддельных новостных заголовков, что может потребовать дополнительных усилий для их обнаружения. Это также может оказаться полезным для развития новых методов защиты от массового манипулирования. #### Выводы Статья показывает, что МЯМ могут генерировать поддельные новостные заголовки с высокой точностью, но существуют проблемы в том, что их качество часто не соответствует реальным заголовкам. Будущие исследования должны сфокусироваться на улучшении методов оценки качества новостных заголовков и развитии технологий защиты от поддельных новостей. Это может помочь создать более надежные системы мониторинга и защиты от массового обмана в