## Контекст Обеспечение фактической надёжности языковых моделей (LLM) является ключевым заданием для устойчивого применения этих моделей в задачах, таких как вопрос ответа и логическое выводить. Несмотря на то, что существуют многочисленные методы экспериментального подтверждения, большинство из них ориентированы на проверку устойчивости моделей по метрикам производительности. Эти методы, основывающиеся на простых пробуждениях текста (prompt perturbations), не полностью отражают внутреннюю структуру и неустойчивость моделей. Задача этого исследования — разработать более тонкий механизм для измерения фактической надёжности, который будет учитывать внутреннюю сложность моделей, а не только отклик на традиционные изменения подачи входных данных. ## Метод В этом работе представляется подход, основанный на измерении степени неопределённости (uncertainty) в токенах и учёте того, как зависит это значение от температуры (temperature scaling) в процессе декодирования. Мы представляем "Factual Robustness Score" (FRS), которая является совокупностью этих двух факторов. Модельная архитектура опирается на точные измерения токенов, которые определяются в процессе декодирования, и температуры модели, которая влияет на степень сильности отклика модели на различные условия. Эти два меры объединяются для построения более широкого понимания фактической надёжности модели. ## Результаты Мы проводили эксперименты на 5 моделях языковых моделей (LLMs), включая модели различных размеров, в трёх задачах классического вопроса-ответа (SQuAD, TriviaQA, HotpotQA). Определили, что модели разных размеров показывают различный уровень надёжности в фактических данных — FRS для меньших моделей составил 0.76, для более крупных — 0.93. Был также выявлен, что при увеличении неопределённости (uncertainty) в процессе декодирования модели становятся менее надёжными в фактических данных, и их точность может снижаться на ~60% в сильных условиях неопределённости. Эти результаты демонстрируют, насколько важен "Factual Robustness Score" как новый метод для измерения надёжности моделей в задачах, в которых требуется устойчивость к неопределённости. ## Значимость Наши результаты могут быть применены в области развития новых моделей языкового моделирования, которые будут более устойчивыми к неопределённости в данных. Мы также можем использовать этот подход для развития более устойчивых методов вопрос-ответа и логического вывода, что повысит надежность моделей в реальных задачах. Помимо этого, наши результаты позволяют разрабатывать модели, которые могут более точно отражать логическую неопределённость, что может быть полезно в задачах, где стоит высокая стоимость ошибок. ## Выво

## Контекст Проблемы безопасности в области бо LLM (Large Language Models) остаются высокими, несмотря на значительные усилия по их устранению. Особенно актуальной является проблема "jailbreak" - способов скрытого проникновения в модель для получения нежелательного или злонамеренного контента. Это часто приводит к таким проблемам, как целенаправленное использование моделей для нанесения вреда, а также к акцIDENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENTIFYENT

## Контекст В последние годы рост и развитие крупных языковых моделей (LLM) оказывают значительное влияние на область естественного общения (NLP). Однако эти модели часто сталкиваются с ограничениями при работе в специализированных доменах, таких как юридический, особенно в низкоресурсных языковых контекстах, таких как арабский. Особенностью данной сферы является не только техническая сложность, но также богатость лексических и юридических норм, которые часто отличаются от основных логик развитых моделей. Это приводит к явному недостатку в качественных данных и вызовам при использовании LLM в таких областях. В работе предлагается новый бенчмарк, **MizanQA**, который специально разработан для оценки LLM в области задач юридического вопроса и ответа (QA) на марокканском языке. Он получил название "Mizan" — значение этого слова в переводе с арабского — "весы", что символизирует честь и справедливость в судебных процессах. Бенчмарк учитывает богатый языковой и юридический контекст, включая традиционное марокканское право, а также влияние законодательства французского происхождения. Он состоит из более чем 1700 вопросов с несколькими вариантами ответов, что позволяет получать сложные решения в области юридического анализа. Этот бенчмарк представляет собой новый этап в развитии технологий NLP в целом и в юридической сфере в частности. ## Метод **MizanQA** отличается своим разнообразным подходом к сбору данных и методологии. Для создания данных использовались специальные юридические документы, законы, судебные решения и традиционные марокканские тексты. Ответы на вопросы были подготовлены специалистами в области юриспруденции, чтобы гарантировать точность и корректность. Методология основывается на создании многомерных задач, включающих не только сопоставление вопросов с ответами, но и выявление интерпретаций закона. Оценка была произведена с использованием нескольких моделей, включая многоязычные языковые модели и те, которые специально разработаны для арабского языка. Эти модели были проверены на возможности понимания специфических юридических терминов, контекстуальных смыслов и неоднозначных формулировок в законных текстах. ## Результаты Эксперименты показали, что даже самые продвинутые языковые модели стругаются с задачами, требующими глубокого юридического понимания и умения работать с текстами, характерными для марокканского законодательства. Например, модели, которые показали высокую производительность на глобальных задачах, снижались в производительности в случае локальных задач, относящихся к Марокко

## Контекст Область исследования естественных языковых процессинговых систем (NLP) становится все более важной для развития искусственного интеллекта (AI). Одним из ярких примеров является **задача вопроса-ответа (QA)**, которая является одной из основных задач в этой области. Несмотря на то, что QA в общих текстах уже достигла некоторого уровня успеха, **специальные области, такие как медицина**, представляют дополнительные сложности. В частности, в медицине важность точности и достоверности ответов на высокотехнологичном уровне. Однако, существуют ограничения в доступности качественных данных и ресурсов для обучения AI-систем, особенно в узкоспециализированных языках, таких как румынский. Данная работа предлагает решение этой проблемы, представляя **MedQARo** — первый большой бенчмарк для QA в медицине на румынском языке. ## Метод **MedQARo** — это **большой датасет**, состоящий из **102 646 QA-пар**, специально созданных для задачи вопроса-ответа в медицинских случаях. Данные были собраны вручную с помощью **семьи опытных онкологов и радиотерапевтов**, которые провели примерно **2100 часов** работы над этой задачей. Основным источником данных были **медицинские случаи с 1011 пациентов**, где каждая вопрос-ответ-пара требует **ключевого слова** или **рассуждений** для правильного ответа. Датасет был разделен на **тренировочную** и **тестовую** часть в соотношении 80/20. Для оценки **текущих технологий** были использованы **четыре лидерских языковых модели (LLMs)**, как в **сценарии zero-shot**, так и в **сценарии файн-тюнинга**. ## Результаты **MedQARo** позволил провести серьезные эксперименты с четырьмя моделями: **BERT-like**, **T5-like**, **RoBERTa-like** и **ALBERT-like**. Изучение показало, что **файн-тюнинг моделей** (с учетом контекста и языка) дает значительное улучшение по сравнению с **zero-shot**. В частности, **файн-тюнингные модели** показали более высокую точность в ответах, что продемонстрировано **F1-метрикой**, подтверждая, что **контекст и языковые особенности** играют ключевую роль в достижении надежной производительности в медицинской QA. Эти результаты подтверждают, что без должного внимания к специфике языка и домена модели не могут достичь высокой точности. ## Значимость **MedQARo** имеет **многочисленные приложения** в области клинического QA, помогая в развитии медицинских AI-систем, которые могут помогать врачам в **выборе лечения** и **ответах на вопросы пациентов**. Одним из **основных преимуществ** данной работы является то, что она представляет **первый большой датасет на румы

## Контекст Турецкий язык, являющийся речью миллионов человек, обладает уникальными грамматическими чертами, богатой историей и культурным контекстом. Несмотря на представление в многоязычных моделях, турецкий язык часто игнорируется в отдельных исследованиях, в том числе в разработке и тестировании бо LLM. Это приводит к проблемам с представительностью, точностью и культурной адекватностью моделей. Была разработана Cetvel, комплексная бенчмарк-среда, предназначенная для оценки широкого спектра возможностей LLMs в турецком языке. Её главная цель - устранить пробелы в существующих тестах, обеспечив разнообразие задач и отражение культурного богатства турецкого языка. ## Метод Cetvel состоит из 23 задач, разделенных на 7 категорий. Она включает в себя исправление грамматических ошибок, машинный перевод, вопрос-ответ, в том числе по темам истории и идиоматического языка турецкого языка. Эта бенчмарк-среда содержит как дискриминативные, так и генерирующие задачи, обеспечивая полнотеконевкий подход к тестированию LLMs. Были оценены 33 LLMs с параметрами до 70B, принадлежащие разным семействам моделей и инструкционным парадигмам. Такая широкая охватность позволяет получить глубокое понимание способностей LLMs в решении задач, относящихся к турецкому языку. ## Результаты В ходе экспериментов показано, что турецко-центрические модели инструкционного трюна уступают в производительности многоязычным и общепринятым моделям, таким как Llama 3 и Mistral. Особенно сильное различие замечено в таких задачах, как исправление грамматических ошибок и вопрос-ответ, где модели инструкционного трюна показали низкую точность. Этот результат показывает необходимость улучшения турецких моделей инструкций и признает важность интеграции культурных контекстов в процесс обучения. ## Значимость Cetvel представляет собой важное инструментальное средство для развития LLMs, ориентированных на турецкий язык. Он обеспечивает разнообразие задач и культурно-ориентированное тестирование, что позволяет лучше понять сильные и слабые стороны моделей. Этот подход может быть использован для развития моделей, которые не только точно работают с текстом, но и отражают культурное богатство турецкого языка. В будущем могут быть проведены исследования в области улучшения моделей с использованием Cetvel и расширения его задач для других языков. ## Выводы Cetvel достигает значительных достижений в развитии LLMs для турецкого языка, предлагая первый полный бенчмар

## Контекст Задача распознавания речи (ASR) является ключевым вопросом в области обработки естественного языка и искусственного интеллекта. За последние годы end-to-end ASR модели показали свою эффективность в решении этой задачи, особенно на тренировочных данных. Однако, эти модели чувствительны к шуму и помехам во время работы. Это приводит к катастрофическим ошибкам в семантическом плане, которые могут серьезно снизить качество распознавания. Основная причина этого слабости моделей заключается в том, что они оптимизируются только для минимизации ошибок в конечном выходном результате, не учитывая внутреннюю консистентность процесса вычислений модели. Это делает их нестабильными в условиях реального мира, где шум и помехи типичны. Ранее предложенные решения, такие как методы грубой фильтрации или дополнительных уровней регуляризации, не удалось значительно улучшить устойчивость моделей. Мотивовано этим, в данной работе предлагается новое решение, нацеленное на улучшение внутренней консистентности ASR моделей через многоуровневую регуляризацию. ## Метод Методология предложенного подхода, названного MGSC (Multi-Granularity Soft Consistency), основывается на многоуровневой регуляризации, которая адресует две разные гранулярности консистентности: макро-уровень (семантический контекст) и микро-уровень (токен-уровень). Макро-уровень регуляризации реализует самоудовлетворяющую структуру данных, при которой выход модели должен соответствовать логическому потоку смысла в тексте. Микро-уровень регуляризации фокусируется на том, чтобы токены в выходном потоке тщательно соответствовали словарным единицам и методам раскрытия слова. Технически, MGSC представляет собой модель-агностичный модуль, который может быть интегрирован с любыми end-to-end ASR моделями. Он внедряет дополнительные функциональные ограничения в процесс обучения, чтобы модель не только правильно предсказывала выход, но и сохраняла консистентность во всех слоях вычислительного процесса. Это позволяет уменьшить ошибки, которые могут возникать из-за невязок между семантическим контекстом и токенным раскрытием. ## Результаты На ходу проведены ряд экспериментов на широко известной ASR датасете, представляющем собой звуковые фрагменты с их текстовыми обозначениями. Модель, воспользовавшись MGSC фреймворком, была сравнена с другими методами регуляризации. Результаты показали, что MGSC существенно уменьшает Character Error Rate (CER) в условиях шумового окружения, снижая его на 8.7% по отношению к базовой модели. Это связано с тому, что MGSC не только уменьшает частоту смысловых ошибок, но и улучшает

#### Контекст В последние годы появилась большая мотивация для исследования Large Language Models (LLMs), в связи с их мощными возможностями в области текстового понимания, генерации и решения задач. Однако, несмотря на их высокую базовую точность, LLMs часто сталкиваются с проблемами связанными с недостаточной прозрачностью и ограниченной возможностью решения расширенных задач, которые требуют логического мышления. Это ставит перед исследователями задачу улучшения их reasoning-возможностей. Одним из подходов является использование Reinforcement Learning (RL) вместе с Chain-of-Thought (CoT) для выравнивания моделей. Однако, существующие RL-based финальные модели недостаточно эффективны в использовании CoT, что приводит к появлению проблем с устойчивостью и стабильностью, а также делает процесс обучения неоптимальным. Кроме того, в существующих SFT-подходах нередко недостаточно учета CoT. Значительные теоретические работы и практические исследования показали, что лучший вариант решения этой проблемы может быть достигнут с помощью новых работ по оптимизации CoT-based RL. #### Метод Мы предлагаем Contrastive Learning with annotated CoT-based Reinforced Fine-Tuning (CARFT), построенный на ряде инновационных принципов. В центре нашего подхода лежит создание представления для каждого Chain-of-Thought-based reasoning path. Мы интегрировали новые соотносительные сигналы, которые включают в себя RL-based fine-tuning и контрастивное обучение. Это позволяет улучшить возможности модели для выявления точных и стабильных решений. Кроме того, мы использовали двусторонний fine-tuning — с одной стороны, включая порожденные данные RL, а с другой — применяя контрастивное обучение на входных сообщениях. Эта архитектура позволяет не только полностью использовать CoT, но и защитить модель от неустойчивости, которая может возникнуть в процессе обучения. #### Результаты Мы провели эксперименты с тремя базовыми подходами, двумя моделями (LLM) и двумя наборами данных, чтобы тестировать эффективность CARFT. Результаты показали, что наш подход избавляет модель от распространенных проблем в RL-based fine-tuning, таких как устойчивость и стабильность. Мы обнаружили, что CARFT демонстрирует до 10.15% улучшения в точности относительно существующих подходов, а также улучшает эффективность модели в 30.62% за счет более полного использования CoT. Эти результаты подтверждают, что CARFT является эффективным инструментом для улучшения LLM reasoning. #### Значимость Предлагаемый подход может быть применен в различных областях, таких как медицинские приложения, юридическая сфера, информационные системы, где требуется высокая точность и логическое мышление. CARFT также может стать мощным инструментом для развития AI, так как он улучшает кач

#### Контекст В последние годы широко распространены бо LLM (large language models), которые обладают выдающимися способностями в обработке естественного языка. Однако такие модели часто называют "черным ящиком", так как понять, каким образом они принимают решения, остается загадкой. Одним из ключевых вопросов является определение роли отдельных нейронов в принятии решений. Этот вопрос не только ключевой для понимания LLM, но и важен для возможности вмешательства в работу моделей, например, для устранения биаса или высказываний ненависти. Несмотря на некоторые усилия по поиску таких "ответственных" нейронов, существуют проблемы, связанные с неоптимальностью вычислений и несовершенством методов. #### Метод Мы предлагаем метод под названием **NEAT** (Neuron-level Explanation via Attribution Transformers), который основывается на идее использования **concept vectors** (векторов понятий) для поиска "concept neurons" (нейронов, ответственных за определенные концепции). Метод уменьшает количество необходимых проходов (forward passes) с $O(n \times m)$ до $O(n)$, где $n$ - число нейронов, а $m$ - число примеров. Эта оптимизация позволяет сократить вычислительные затраты и ускорить процесс. Мы также используем кластеризацию для оптимизации поиска concept neurons. #### Результаты Мы проверяем наш метод на нескольких базовых моделях и сравниваем его с существующими методами. Результаты показывают, что **NEAT** демонстрирует лучшую точность и эффективность в сравнении с базовыми и состояниями технологии. Для примера, мы смогли уменьшить расход вычислительных ресурсов в несколько раз, при этом сохранив высокую точность. Особое внимание уделяется применению наших методов для выявления и устранения биаса в LLMs, включая тестирование на конкретных примерах из индийского контекста. #### Значимость Наш метод может применяться в различных областях, таких как мониторинг биаса в тексте, анализ языковых моделей и улучшение понимания человеком работы AI. Он позволяет не только улучшить понимание того, как работают LLM, но и создает шанс вмешательства в их работу. Например, можно отключить нейроны, ответственные за высказывания ненависти или биаз, и изучить последствия таких манипуляций. Это открывает путь к более предсказуемому и человекоподобному поведению моделей. #### Выводы Мы показали, что наш метод не только эффективен, но и эффективен в том смысле, что он дает новый подход к пониманию и вмешательству в работу LLM. Мы также отметили, что наши результаты открывают новые возможности для изучения роли отдельных нейронов в широких и глубоких LLM. Наше исследование демонстрирует перспективы для будущих исследований в области поиска concept neurons и вмешательства в

## Контекст В статье представлена система Annif в рамках задачи GermEval-2025 LLMs4Subjects (Subtask 2). Задача подразумевала создание предсказаний по темам библиографических записей с использованием больших языковых моделей, с фокусом на эффективности вычислений. Этот объект исследования является важной задачей в области автоматического классификационного индексирования библиотечных коллекций. Мотивация заключается в улучшении системы Annif, которая уже демонстрировала высокую эффективность в предыдущем LLMs4Subjects задании, и в изучении возможностей новых языковых моделей для улучшения ранжирования тематических категорий. ## Метод Система Annif основывается на автоматизированном инструменте для классификационного индексирования. Для улучшения своей системы, авторы использовали сочетание многих малых и эффективных языковых моделей для трансляции и синтетической данной, а также больших языковых моделей для ранжирования кандидатов. Была внедрена методика генерации синтетических данных для обучения моделей с помощью трансформации существующих библиографических записей. Эта архитектура сочетает в себе мощь больших моделей и эффективность малых моделей, чтобы достичь оптимального баланса качества и скорости. ## Результаты На экспериментальных данных была достигнута высокая точность и эффективность. Данные были подготовлены с применением синтетических данных и дополнены трансформацией библиографических записей. Результаты показали, что Annif расположилась на первом месте в общем рейтинге и в оценке качества Subtask 2. Эти результаты указывают на эффективность сочетания множества небольших моделей для трансляции и синтетической генерации данных, а также на высокую полезность языковых моделей для ранжирования тематических предсказаний. ## Значимость Исследование имеет значительное значение для автоматического классификационного индексирования в библиотечных коллекциях. Оно предоставляет новые возможности для использования языковых моделей в реальных задачах. Также оно демонстрирует перспективы сочетания многих малых моделей для улучшения производительности и качества. Это может быть применено в других областях, где требуется быстрая и точная классификация больших объемов данных. ## Выводы Система Annif демонстрировала выдающиеся результаты в задаче GermEval-2025 LLMs4Subjects Subtask 2. Основным достижением является показательная эффективность и точность, достигнутая с помощью сочетания множества малых моделей и ранжирования тематических предсказаний с помощью языковых моделей

#### Контекст Современные языковые модели широко применяются в различных областях, включая обработку естественного языка, генерацию текста и анализ данных. Однако существуют значимые проблемы, связанные с оптимальным дизайном этих моделей. Они часто требуют больших вычислительных ресурсов, что усложняет их развертывание в реальных системах. Также существуют ограничения в скорости подготовки данных и вывода, что сказывается на общем эффективности этих моделей в практических задачах. **Jet-Nemotron** является решением этих проблем, предлагая новую гибридную архитектуру языковых моделей, которая сочетает в себе высокую точность и высокую скорость генерации текста. Модель разработана с помощью **Post Neural Architecture Search** (PostNAS), новый подход к эффективному дизайну архитектур нервных сетей, который позволяет эффективно оптимизировать модели для различных задач. #### Метод **Jet-Nemotron** разработана с использованием Postnas, представляющего собой алгоритм поиска лучшей архитектуры с помощью пост-оптимизации. Этот подход характеризуется четырьмя ключевыми компонентами: 1. **Оптимальное размещение и удаление полносвязных слоёв (full-attention layers)**: позволяет оптимизировать структуру модели, удаляя ненужные слои и сохраняя только самые важные. 2. **Выбор линейных блоков аттенции (linear attention blocks)**: упрощает модель, заменяя сложные блоки аттенции на более простые, но эффективные. 3. **Дизайн новых блоков аттенции**: разработка новых блоков, которые позволяют улучшить производительность и точность модели. 4. **Поиск гиперпараметров, ориентированный на железо (hardware-aware hyperparameter search)**: оптимизация модели с учетом ограничений ресурсов, таких как вычислительная мощность и память. Таким образом, **Jet-Nemotron** использует предварительно обученную модель с полносвязной архитектурой, замороженную во время обучения, что позволяет эффективно экспериментировать с архитектурой без потерь в точности. #### Результаты **Jet-Nemotron** была проверена на различных наборах данных и бенчмарках, включая **MMLU** и **MMLU-Pro**. Модель показала существенное улучшение производительности по сравнению с другими языковыми моделями, такими как **Qwen3**, **Qwen2.5**, **Gemma3** и **Llama3.2**. Она достигла точности, сопоставимой или лучшей, чем у этих моделей, при этом показала значительные повышения в скорости генерации текста: до **53.6x** в сравнении с другими моделями. Также **Jet-Nemotron** показала выигрыш в скорости подготовки данных (prefilling) до **6.1x**. Эти результаты достигнуты благодаря оптимальному дизайну архитектуры, который позволяет использовать ресурсы