## Контекст Романский язык, несмотря на свою краеугольную значимость в регионе, лишь недавно привлек внимание в результате прогрессов в области машинного обучения. Исследователи приложили усилия для создания данных и моделей, которые могут обрабатывать текст на румынском языке. Однако, специфика языка, включая его синтаксические особенности и традиционные стилистические приемы, часто оставляются недооцененными. Одной из таких сложностей является детекция сатиры в новостных статьях на румынском языке. Сатира, ирония и сарказм часто используются для выражения своего мнения, но их могут интерпретировать как фактический отчет, подобно фейковым новостям. В данной работе мы представляем первый датасет для детекции сатиры на уровне предложений на румынском языке под названием **SeLeRoSa** (Sentence-Level Romanian Satire Detection Dataset). Датасет включает 13,873 ручной оценки и содержит предложения из различных областей, таких как социальные вопросы, информационные технологии, наука и кино. Однако, существуют лишь немногочисленные исследования, которые предлагают анализ на уровне предложений для румынского языка, что делает данную область актуальной и интересной для исследований. ## Метод Для построения **SeLeRoSa** была проведена тщательная работа над выбором исходных текстов, аннотацией и структурированием. Исходные данные были собраны из различных источников, в том числе открытых новостных ресурсов и специализированных сайтов. Для каждого предложения была проведена ручная аннотация, определяющая наличие сатиры с помощью специализированных критериев. Для использования моделями были созданы метки на уровне предложений, что позволило создать задачу классификации на уровне предложений. Для построения моделей использовались базовые модели, такие как BERT, RoBERTa, и DistilBERT, а также были разработаны классификаторы, которые могут работать в zero-shot и fine-tuning режимах. Мы также проверили универсальность моделей и оценили их поведение на различных подмножествах датасета. ## Результаты Мы провели эксперименты с несколькими моделями, включая zero-shot и fine-tuning режимы. Было проведено сравнение показателей качества работы моделей, таких как F1-меры, точность и рекульсивность. Результаты показали, что лучшие результаты показываются моделями, которые используют fine-tuning режим, однако тем не менее, все модели сталкиваются с ошибками в сложных и нестандартных случаях. Мы также провели анализ некоторых ошибок и выявили, что модели часто имеют трудности при детекции сатиры в сложных контекстах, где сатира характеризуется сложностью стилистических приемов или нети

## Контекст Современные языковые модели (LLM) достигли впечатляющих возможностей в области обработки естественного языка, однако столкнулись с рядом критических проблем. Они часто проявляют халатность в выводах, распространенные стереотипы и беспринципность, обращают внимание на вопросы конфиденциальности, а также требуют огромных вычислительных ресурсов. Эти ограничения связаны с особенностью суперпозиции языковой компетенции и фактического запоминания в одной модели. Данная работа предлагает новый подход, называемый Fundamental Language Model (FLM), который предлагает создание меньших моделей с высокой языковой компетенцией, предавших задачи запоминания фактов внешним средствам. ## Метод Мы исследовали модели размером от 135 миллионов до 32 миллиардов параметров. Для оценки языковой компетенции, внешнего и внутреннего фактического знания использовались специально сконструированные тесты и задачи. Модели были оценены на технических аспектах, таких как способность генерировать текст и понимать смысл слов и предложений, а также способность эффективно использовать внешние источники для получения фактов. ## Результаты Наши результаты показали, что повышение размера модели приводит к повышению как языковой компетенции, так и внешнего фактического знания. Однако внутреннее фактическое знание, то есть способность модели генерировать факты на основе своего внутреннего представления, увеличивается намного быстрее, чем языковая компетенция. Это указывает на то, что размер модели больше всего связан с фактом запоминания, а не с языковой компетенцией. ## Значимость Предлагаемый подход может быть использован в различных областях, таких как разработка систем поддержки решения проблем, интеллектуальные помощники и системы моделирования языка. Модульный подход FLM позволяет создавать более эффективные, прозрачные и устойчивые к воздействию внешних фактов модели. Это предлагает возможность создания моделей, которые будут не только эффективными, но и более удобными для применения в реальной жизни. ## Выводы Результаты нашего исследования поддерживают значимость FLM как модели, которая может быть использована для создания более сбалансированных языковых моделей. Мы предлагаем использовать FLM в качестве основы для будущих исследований в области языковых моделей, которые будут ориентированы на создание моделей, меньшего размера, но с высокой языковой компетенцией и модульной архитектурой. Это включает в себя рассмотрение возможности совместимости с другими инструментами для получения фактов.