## КОНТЕКСТ И ПРОБЛЕМАТИКА Проблема представления и понимания смысла предложений лежит в основе многих прикладных задач компьютерной лингвистики. За последние годы в этой области было достигнуто значительное прогрессирование, однако существующие модели часто сталкиваются со сложностями в обработке семантических структур, особенно в случаях сложных или неявных отношений между концептами. Одним из перспективных подходов является использование Abstract Meaning Representation (AMR) – формализма, который кодирует смысл предложения в виде структурированных графов, где узлы обозначают концепты, а ребра – семантические отношения. Несмотря на ряд успехов в области AMR-парсинга, многие современные методы требуют сложных пайплайнов, включающих предварительную обработку, специализированные архитектуры и тщательное настройку гиперпараметров. Кроме того, многие из этих моделей требуют значительных вычислительных ресурсов и не всегда обеспечивают оптимальное балансирование между структурной валидностью и семантической точностью. В последнее время Large Language Models (LLMs) стали важной тенденцией в компьютерной лингвистике за счет их универсальности и возможности файнтюнинга для специфических задач. Однако оценка возможностей декодер-only LLMs в задачах AMR-парсинга оставалась недостаточно исследованной. Эта проблематика ставит под сомнение, могут ли простые методы файнтюнинга LLMs достичь результатов, сравнимых со сложными современными методами AMR-парсинга. Данная статья направлена на исследование этого вопроса, оценивая возможности четырех различных архитектур LLMs в контексте AMR-парсинга. ## ПРЕДЛОЖЕННЫЙ МЕТОД В рамках исследования была предпринята стратегия файнтюнинга четырех различных архитектур LLMs: Phi 3.5, Gemma 2, LLaMA 3.2 и DeepSeek R1 LLaMA Distilled. Цель заключалась в оценке их способности к AMR-парсингу с использованием минимальных модификаций и стандартных подходов к файнтюнингу. Для реализации эксперимента был использован LDC2020T02 Gold AMR3.0 test set как основной датасет. Архитектура каждой модели оставалась в оригинальном виде, но доработана специфическими методами для обработки входных данных в формате AMR. Основной акцент был сделан на сохранении простоты процесса файнтюнинга, чтобы оценить естественные способности LLMs в работе с семантическими графами. Для Phi 3.5 и Gemma 2 были использованы стандартные настройки файнтюнинга, ориентированные на повышение точности распознования семантических отношений. Для LLaMA 3.2 и DeepSeek R1 LLaMA Distilled были доработаны методы кодирования входных данных, чтобы оптимизировать представление структур графов. Финальная модель LLaMA 3.2 показала лучшие результаты в терминах сбалансированного сочетания семантической точности и структурной валидности. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В ходе экспериментов была проведена оценка качества AMR-парсинга на основе метрики SMATCH F1, которая измеряет точность сопоставления предсказанных и истинных графов. Результаты показали, что LLaMA 3.2 достигает SMATCH F1 в 0.804 на полном тестовом наборе LDC2020T02, что соответствует результатам APT + Silver (IBM) и приближается к Graphene Smatch (MBSE) на 0.854. Phi 3.5 показала высокую структурную валидность, однако ее семантическая точность была ниже, чем у LLaMA 3.2. Это подтверждает гипотезу о том, что различные архитектуры LLMs могут иметь различные сильные стороны в контексте AMR-парсинга. Gemma 2 и DeepSeek R1 LLaMA Distilled также демонстрировали приемлемые результаты, но не достигали уровня LLaMA 3.2 в терминах общей производительности. Эти результаты подтверждают, что простой файнтюнинг декодер-only LLMs может быть эффективным методом для AMR-парсинга, особенно в контексте LLaMA 3.2. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Данное исследование демонстрирует практическую значимость использования LLMs в задачах AMR-парсинга. Благодаря простоте файнтюнинга и высокой производительности, модель LLaMA 3.2 может быть использована в различных приложениях, таких как семантический анализ текста, машинный перевод и системы вопросо-ответ. Особенно важно отметить, что высокие результаты LLaMA 3.2 были достигнуты без необходимости сложной настройки или дополнительных модификаций, что делает эту модель привлекательной для практического применения в промышленных условиях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Настоящее исследование показывает, что файнтюнинг декодер-only LLMs может быть эффективным методом для AMR-парсинга, особенно при использовании модели LLaMA 3.2. Однако существуют возможности для дальнейших улучшений, включая оптимизацию архитектуры для более точного представления семантических отношений и структурных характеристик графов. Будущие исследования могут фокусироваться на разработке более сложных методов файнтюнинга, а также на исследовании возможностей других архитектур LLMs в контексте AMR-парсинга. Кроме того, важным направлением может быть интеграция LLMs с другими методами семантического анализа для достижения еще более высоких результатов.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Parameter-Efficient Fine-Tuning (PEFT) является ключевым подходом для адаптации Large Language Models (LLMs) к новым задачам, особенно в условиях ограниченных вычислительных ресурсов. В настоящее время LLMs часто используются в многозадачных сценариях (Multi-Task Learning, MTL), требующих эффективной адаптации к различным доменам и задачам. Традиционный подход в MTL заключается в использовании многоадаптерных или многоголовных архитектур, таких как LoRA, которые предполагают структурную разнообразность для захвата уникальных особенностей каждой задачи. Однако этот подход сталкивается с проблемами, связанными с сложностью моделей, переобучением и снижением эффективности при одновременном обучении на нескольких задачах. Исследование Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning выдвигает критический взгляд на существующие парадигмы MTL. Авторы поднимают вопрос о том, насколько эффективны сложные многокомпонентные архитектуры при адаптации LLMs. Они показывают, что существующие подходы, основанные на многоадаптерных системах, могут быть не оптимальными. Вместо этого, исследование показывает, что упрощенные модели с высокой интер-головной схожестью (inter-head similarity) могут достичь более высокой эффективности. Это приводит к новой гипотезе: ключевым фактором успешной адаптации LLMs в MTL является обучение устойчивых общих представлений, а не изоляция задач-специфичных функций. ## ПРЕДЛОЖЕННЫЙ МЕТОД Чтобы проверить эту гипотезу, авторы предлагают Align-LoRA, модификацию архитектуры LoRA, которая включает явное выравнивание (alignment) представлений задач в общем пространстве адаптера. В отличие от сложных многоадаптерных систем, Align-LoRA использует упрощенную структуру с единственным адаптером, но с более высоким рангом. Это позволяет модели фокусироваться на обучении общих представлений, сохраняя при этом возможность эффективной адаптации к нескольким задачам. Ключевой инновацией Align-LoRA является введение дополнительного лосса (loss), направленного на выравнивание представлений различных задач в общем пространстве. Это позволяет модели избегать чрезмерной специфичности для каждой задачи и поощряет формирование более универсальных и робастных представлений. Архитектура Align-LoRA проста в реализации и может быть легко интегрирована в существующие модели LoRA. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели комплексный набор экспериментов для оценки эффективности Align-LoRA. Исследование включало в себя моделирование на различных наборах данных, представляющих различные домены и задачи. Результаты показали, что Align-LoRA значительно превосходит базовые модели, основанные на многоадаптерных системах, в терминах точности и общей эффективности. Кроме того, эксперименты показали, что увеличение ранга адаптера в стандартной LoRA также может привести к значительному улучшению результатов, что подтверждает гипотезу о важности обучения общих представлений. Авторы также продемонстрировали, что их подход эффективен даже при ограниченных вычислительных ресурсах, что делает его практичным для реального применения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Align-LoRA может быть применен в различных областях, где необходима эффективная адаптация LLMs к множеству задач. Этот подход особенно важен в сферах, требующих высокой точности и быстрой адаптации, таких как здравоохранение, финансы и коммерческие приложения. Упрощенная архитектура также делает Align-LoRA доступным для организаций с ограниченными вычислительными мощностями. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Align-LoRA представляет собой важное достижение в области PEFT и MTL, показывая, что упрощенные модели с высоким рангом и выравниванием представлений могут быть более эффективными, чем сложные многокомпонентные системы. Будущие исследования могут фокусироваться на дальнейшем улучшении эффективности и масштабируемости этого подхода, а также на его применении в более широком диапазоне задач и доменов.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Преодоление сложностей навигации в веб-среде является ключевым тестом для искусственного общего интеллекта (Artificial General Intelligence, AGI). Окружения веб-навигации отличаются высокой энтропией, динамичностью и экспоненциально быстрым ростом возможных действий, что делает их крайне сложными для автономных агентов. Существующие подходы в этой области разделяются на две категории: офлайн обучение подразумевает имитацию поведения на основе предварительно собранных данных, тогда как онлайн-исследования фокусируются на динамическом поиске решений в реальном времени. Однако ни один из этих подходов не успешно интегрирует оба парадигмы, что является ключевым ограничением для создания эффективных веб-агентов. Эта проблема вдохновила исследование, основанное на двойной системе когнитивных процессов, известной как двойная система человеческого мышления. Эта теория подразумевает существование двух типов когнитивных процессов: быстрый, интуитивный «Система 1» и медленный, рациональный «Система 2». Такой подход может помочь в создании агентов, способных адаptive переключения между интуитивными реактивными реагированиями и рациональными, плановыми действиями в зависимости от сложности задачи. Это открывает путь к более эффективной и адаптивной навигации в веб-средах, но до сих пор не было предпринято попыток реализовать эту идею в практическом агентском фреймворке. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этой проблемы авторы предлагают фреймворк CogniWeb, основанный на принципах двойной системы когнитивных процессов. Этот фреймворк состоит из двух основных компонентов: System 1, отвечающий за быстрое, интуитивное реагирование на внешние стимулы, и System 2, который выполняет более глубокий анализ и планирование. Архитектура CogniWeb построена таким образом, чтобы эти два компонента могли работать вместе, адаптируясь к сложности задачи. System 1 основан на моделях обучения с имитацией, которые позволяют агенту быстро реагировать на распространенные ситуации. Этот компонент использует предварительно обученные модели для выполнения простых задач без необходимости глубокого анализа. С другой стороны, System 2 использует более сложные модели, такие как модели планирования и принятия решений, которые позволяют агенту анализировать ситуацию более тщательно и выбирать оптимальный путь действий в более сложных ситуациях. CogniWeb также включает в себя механизм адаптивного переключения между System 1 и System 2. Этот механизм основан на оценке сложности задачи и выборе наиболее подходящего подхода. Например, если задача относительно простая, агент может использовать System 1 для быстрого решения. Если же задача требует более сложного анализа, агент переключается на System 2 для более глубокого рассмотрения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности CogniWeb авторы провели серию экспериментов на платформе WebArena, которая представляет собой симулятор веб-навигации с высокой сложностью и динамическими условиями. В эксперименте были использованы различные сценарии навигации, включая простые и сложные задачи. Результаты показали, что CogniWeb достиг 43,96% успешности в выполнении задач, что является конкурентноспособным результатом по сравнению с другими методами. Однако основным достижением было значительное сокращение использования токенов (то есть ресурсов, необходимых для обработки данных) на 75% по сравнению с другими подходами. Это говорит о более эффективном использовании ресурсов и потенциальной экономии вычислительной мощности. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ CogniWeb имеет широкое применение в области автономных веб-агентов. Его способность эффективно переключаться между интуитивным и рациональным мышлением делает его подходящим для решения задач с различным уровнем сложности. Это может быть использовано в различных приложениях, таких как поисковые системы, рекомендательные системы и автоматизированные сервисы навигации. Преимущества этого подхода заключаются в более эффективном использовании ресурсов, снижении времени выполнения и повышении точности принятия решений. Это может привести к значительному улучшению производительности веб-агентов и повышению их пригодности для реального мира. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В результате исследования было показано, что фреймворк CogniWeb предлагает эффективный способ решения проблем навигации в веб-средах, используя принципы двойной системы когнитивных процессов. Этот подход не только показал высокую эффективность в решении задач, но также открыл новые возможности для дальнейших исследований в области AGI. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры CogniWeb, включая оптимизацию механизма переключения между System 1 и System 2, а также расширение его применимости к более широкому кругу задач. Также важно исследовать возможности интеграции этого подхода с другими методами AGI для создания еще более мощных и адаптивных систем.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Многомодальные большие языковые модели (MLLMs) становятся все более распространенными в различных приложениях, но их безопасность остается критическим вопросом. Одним из основных угроз являются **jailbreak-атаки**, направленные на обход систем безопасности и фильтров, чтобы получить нецензурные или вредные ответы. Доныне большая часть исследований в этой области сосредоточена на максимизации **attack success rate (ASR)**, то есть успешности обхода фильтров. Однако этот подход часто игнорирует качество самих генерируемых ответов. Даже если атака удается, генерируемые ответы могут не соответствовать настоящей цели атакующего, что приводит к низкому уровню **злонамеренного контента**. Эта проблема особенно актуальна в контексте современных MLLMs, где сочетание текста и изображений требует более глубокого понимания интеграции мультимодальных компонентов. Традиционные методы атак часто используют только текстовые промпты, не используя потенциал визуальных компонентов для улучшения результатов. Недостаток комплексного подхода к оптимизации визуальных и текстовых компонентов приводит к неэффективности атак. Данная работа предлагает решение этой проблемы, представляя метод **JPS** (Jailbreak MLLMs with Collaborative Visual Perturbation and Textual Steering), который интегрирует визуальные и текстовые компоненты для повышения качества и эффективности атак. Целью является не только обход систем безопасности, но и обеспечение высокого уровня соответствия ответов цели атакующего. ## ПРЕДЛОЖЕННЫЙ МЕТОД **JPS** представляет собой инновационный подход, который сочетает **target-guided adversarial image perturbations** (адверасарные визуальные изменения) и **steering prompt** (текстовое направление запроса) в единой координированной стратегии. Алгоритм оптимизирует эти компоненты взаимодействующим образом для максимизации эффективности атаки. 1. **Визуальная компонента**: JPS применяет адверасарные изменения к входящим изображениям, которые направлены на обход систем безопасности MLLMs. Эти изменения генерируются с помощью целевого руководства, что позволяет эффективно манипулировать восприятием модели. 2. **Текстовая компонента**: "Steering prompt" генерируется с помощью многоагентной системы, которая оптимизирует текстовый запрос таким образом, чтобы он руководил генерацией ответа моделью в соответствии с целями атакующего. Два компонента (визуальный и текстовый) проходят процесс **итеративной координированной оптимизации**, что позволяет достичь высокой эффективности атаки. Этот подход отличается от традиционных методов, которые обычно работают только с одним типом компонента. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности метода JPS были проведены эксперименты на различных MLLMs и наборах данных. Результаты показывают, что JPS достигает рекордных показателей в **ASR** (Attack Success Rate) и **MIFR** (Malicious Intent Fulfillment Rate) по сравнению с предшествующими методами. 1. **Наборы данных**: Исследование проводилось на различных бенчмарках, включая стандартные датасеты для тестирования MLLMs. 2. **Метрики**: Были использованы две основные метрики: - **ASR**: Мера успешности обхода систем безопасности. - **MIFR**: Новая метрика, оценивающая качество генерируемых ответов с точки зрения выполнения цели атакующего. Она использует Reasoning-LLM для оценки соответствия ответов цели. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Метод JPS имеет значительное практическое применение в области безопасности искусственного интеллекта. Он позволяет оценить уязвимости MLLMs и разработать более надежные методы защиты. Кроме того, JPS может быть использован для: - **Тестирования безопасности MLLMs** в реальных условиях. - **Обнаружения уязвимостей** в существующих системах фильтрации контента. - **Разработке усовершенствованных методов защиты** от атак на мультимодальные модели. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе представлен новый метод **JPS**, который устанавливает новые стандарты в области атак на MLLMs, обеспечивая высокий уровень качества и соответствия цели атакующего. Будущие исследования могут фокусироваться на улучшении методов защиты MLLMs, а также на разработке новых метрик для оценки качества генерируемых ответов. Кроме того, дальнейшее исследование может включать в себя исследование других мультимодальных компонентов, таких как видео и аудио, для создания более комплексных методов атак и защиты.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Развертывание крупных языковых моделей (LLM) в реальных приложениях требует эффективных возможностей вызывать функции, что является ключевым фактором для их функциональности. Однако существующие подходы обучения не приводят к появлению устойчивых стратегий вывода, необходимых для этих задач. Традиционные методы, такие как супервизорское тонкое настройка (supervised fine-tuning), часто приводят к моделям, которые основываются на поверхностном поиске закономерностей, не способных обеспечить глубокое понимание контекста. Аналогично, стандартные методы обучения с подкреплением (reinforcement learning) сталкиваются с серьезными трудностями из-за высокой размерности пространства функциональных вызовов, что делает их неэффективными в обработке сложных структурированных задач. Три основных проблемы оказывают влияние на качество вызова функций в существующих моделях: недостаточное исследование пространства политик (policy space) во время обучения, отсутствие структурированного логического вывода в цепочках мыслей (chain-of-thought generation) и неадекватная проверка параметров, извлекаемых из запросов. Эти проблемы становятся критичными в контексте сложных сценариев, требующих вызова нескольких функций, где точность и корректность вывода имеют решающее значение. Настоящее исследование предлагает новую платформу, основанную на обучении с подкреплением, которая специально разработана для решения этих проблем. Она использует стратегическую энтропию для оптимизации политик взаимодействия между группами, что позволяет достичь более глубокого и эффективного исследования пространства функциональных вызовов. Метод также адресует необходимость в высококачественных данных для обучения, создавая их через итеративную процедуру проверки с использованием моделей LLM и валидации с помощью абстрактных синтаксических деревьев (abstract syntax trees). ## ПРЕДЛОЖЕННЫЙ МЕТОД Предложенный метод основывается на новой рамке работы для обучения с подкреплением, направленной на оптимизацию групповых политик с использованием стратегического поиска по энтропии. Эта стратегия позволяет эффективнее исследовать пространство функциональных вызовов, обеспечивая глубокое понимание контекста и структурированное принятие решений. Архитектура работы состоит из двух основных этапов подготовки данных. На первом этапе, модель LLM используется для создания высококачественных образцов данных, которые затем проверяются с помощью абстрактного синтаксического дерева для обеспечения точности и логичности. Это гарантирует, что данные для обучения будут качественными и соответствовать требованиям сложного функционального вызова. На втором этапе, модель обучается с помощью специально разработанного алгоритма обучения с подкреплением, который использует стратегическую энтропию для повышения эффективности исследования пространства политик. Этот подход позволяет модели избегать поверхностных решений и развивать более глубокие стратегии вывода. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного метода проведены эксперименты на Berkeley Function Calling Leaderboard. Результаты показывают, что предложенный метод достигает 86.02% общей точности, превосходя стандартные методы GRPO на 6% в сложных множественных сценариях функциональных вызовов. Это показывает высокую эффективность метода в решении сложных задач. Кроме того, предложенный метод показывает особую эффективность на моделях, предварительно обученных на кодовых данных. Это указывает на то, что возможности генерации структурированного языка являются преимущественным фактором для успешного применения обучения с подкреплением в задачах функционального вызова. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкое применение в реальных сценариях использования LLMs, особенно в областях, требующих высокой точности вызова функций, таких как разработка программного обеспечения, автоматизация процессов и поддержка пользователей. Преимущества этого метода включают улучшенную точность, глубокий вывод и возможность обработки сложных множественных сценариев, что делает его пригодным для использования в промышленных приложениях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Исследование демонстрирует успешное применение стратегического поиска по энтропии для улучшения вызова функций в LLMs. Разработанный метод не только показывает высокую эффективность, но и открывает новые возможности для дальнейшего исследования в области обучения с подкреплением для структурированного вывода. Будущие исследования могут фокусироваться на дальнейшем улучшении качества данных для обучения и расширении областей применения этого метода. Кроме того, релиз кода, моделей и данных для сообщества позволит стимулировать дальнейшее развитие в этой области.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Large Language Models (LLMs) являются мощным инструментом в области обработки естественного языка, но их производительность чувствительна к контексту и структуре входных данных. Одной из ключевых проблем является позиционная зависимость, когда информация, расположенная в определённых позициях ввода, получает непропорциональное внимание модели. Это может приводить к неоптимальному использованию критически важной информации, особенно в таких задачах, как многошаговая обработка вопросов (multi-hop QA) и обучение с примерами (few-shot in-context learning). Существующие исследования показали, что LLMs часто предпочитают обрабатывать информацию, расположенную в начале или конце последовательности, игнорируя средние элементы. Такая позиционная асимметрия, называемая в работе "attention basin", может значительно влиять на эффективность моделей. Однако механизмы этой явлености и стратегии её коррекции до сих пор не были полностью изучены. Мотивацией данного исследования является необходимость понимания того, как контекстуальная позиция влияет на внимание LLMs, и разработка практических методов для оптимизации этого процесса. Целью является улучшение производительности моделей без изменения их архитектуры или параметров. ## ПРЕДЛОЖЕННЫЙ МЕТОД В работе предлагается метод Attention-Driven Reranking (AttnRank), который направлен на коррекцию позиционной зависимости LLMs. Метод состоит из двух этапов: 1. **Оценка позиционного внимания**: Используется небольшой калибровочный набор данных для определения внутренних предпочтений модели по вниманию к различным позициям в последовательности. 2. **Реранжирование входных данных**: На основе полученных данных производится перестановка элементов (например, документов или примеров) таким образом, чтобы критически важная информация была расположена в позициях с высоким вниманием модели. AttnRank является модельно-агностичным, не требует дополнительного обучения и может быть легко интегрирован в существующие системы. Он предлагает минимальный вычислительный оверхед и подходит для различных архитектур LLMs. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Исследование проводилось на двух задачах: многошаговой обработке вопросов (multi-hop QA) и обучении с примерами (few-shot in-context learning). Для экспериментов были использованы данные из различных доменов, включая текстовые корпуса и веб-документы. Результаты показали, что AttnRank значительно улучшает производительность моделей на различных архитектурах и масштабах LLMs. Улучшения были зафиксированы на 10 различных моделях, включая облачные и локальные варианты. Метод не требовал изменения параметров моделей, что делает его высокопрактичным. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ AttnRank имеет широкое применение в областях, где критическая информация должна быть эффективно обработана LLMs. Это включает задачи вопросов и ответов, извлечения информации, и автоматическое обобщение текста. Преимущества метода включают в себя простоту интеграции, низкий вычислительный затраты и совместимость с различными моделями. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Работа демонстрирует важность контекстуальной позиции в обработке информации LLMs и предлагает эффективный метод для её коррекции. Будущие исследования могут фокусироваться на дальнейшем улучшении AttnRank, включая адаптацию для других типов задач и моделей. Также предлагается исследовать влияние других факторов, таких как длина последовательности и тип входных данных, на эффективность метода.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Развитие технологий на базе ИИ, в том числе больших языковых моделей (Large Language Models, LLMs), приводит к их все более широкому использованию в сфере здравоохранения. Однако эти технологии не всегда отвечают высоким стандартам этического решения, что является критическим фактором для их применения в реальной медицинской практике. Традиционные методы оценки LLMs часто не учитывают их способность применять этические принципы в динамических и сложных клинических сценариях. Тем не менее, в медицине широко применяется подход Principlism, основанный на четырех фундаментальных принципах: Благотворность (Beneficence), Невредность (Nonmaleficence), Автономность (Autonomy) и Справедливость (Justice). Эти принципы лежат в основе этических решений, однако существующие бенчмарки не дают достаточно полного представления о том, насколько хорошо LLMs могут применять эти принципы в практических ситуациях. Недостаточность инструментов для оценки этического поведения LLMs создает риск их неправильного использования, что может привести к неэтичным решениям в клинической практике. Таким образом, необходимо разработать комплексную систему оценки, которая позволит диагностировать слабые стороны LLMs в этическом рассуждении и поможет создавать более ответственные и эффективные медицинские ИИ-системы. ## ПРЕДЛОЖЕННЫЙ МЕТОД Разработчики представили PrinciplismQA, комплексный бенчмарк, состоящий из 3 648 вопросов, специально разработанных для оценки выраженности этических принципов в LLMs. Бенчмарк основан на четырёх ключевых принципах Principlism и включает два типа вопросов: многоВыборные, созданные на основе авторитетных учебников по медицинской этике, и открытые вопросы, основанные на кейс-стадиях из медицинской литературы. Вопросы были проверены и валидированы медицинскими экспертами, обеспечивая высокий уровень качества и релевантность данных. Каждый вопрос оценивает, насколько хорошо LLM понимает и применяет конкретный этический принцип в заданном сценарии. PrinciplismQA также включает в себя сценарии, требующие балансировки между принципами, что позволяет выявить сложности в применении LLMs в реальных клинических ситуациях. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В ходе экспериментов было проанализировано поведение различных LLMs, включая как открытые, так и закрытые модели. Результаты показали значительную проблему в применении принципа Благотворности, где многие модели страдают от перекоса в пользу других принципов, таких как Справедливость или Автономность. Закрытые модели с высокими общими способностями демонстрируют лучшие результаты на бенчмарке, но даже они сталкиваются с трудностями в динамическом применении этических принципов. Исследование также показало, что fine-tuning моделей на медицинских данных может улучшить их этическую компетентность, но для достижения балансированного и надежного решения требуется более глубокая интеграция медицинского этического знания. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ PrinciplismQA предлагает практический инструмент для диагностики и улучшения этического поведения LLMs в медицинской практике. Он может быть использован для оценки новых моделей, а также для идентификации слабых мест в существующих системах. Это может помочь разработчикам создавать более ответственные и эффективные медицинские ИИ-системы, которые будут лучше адаптированы к реальным клиническим сценариям. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ PrinciplismQA является важной шагом в направлении создания более этически ответственных медицинских ИИ-систем. Он выявляет ключевые проблемы в применении этических принципов LLMs и предлагает структурированный подход к их решению. Будущие исследования могут фокусироваться на улучшении fine-tuning методов и разработке новых бенчмарков для оценки этических способностей LLMs в других областях прикладного использования.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Автоматическое распознавание речи (АРР) в низкоресурсных языках является серьезной вызовом для современных исследований. Несмотря на то, что технологии глубокого обучения достигли высоких результатов в обработке речи для языков с большим объемом доступных данных, применение этих подходов к низкоресурсным языкам остается затрудненным. Основными препятствиями являются ограниченность доступных данных для обучения и отсутствие достаточного количества аннотированных ресурсов. В последнее время Large Language Models (LLMs) показали высокую эффективность в различных задачах обработки речи, включая задачи распознавания, если речь о языках с большим объемом данных. Однако для низкоресурсных языков эффективность LLMs еще не была полностью изучена. Задача адаптации LLMs для распознавания речи в условиях ограниченных данных требует новых подходов и методологий. В данной работе авторы фокусируются на исследовании Speech LLMs – моделей, которые объединяют речевые энкодеры с языковыми моделями с помощью тренируемого легковесного проектора. Особое внимание уделяется оценке объема необходимых данных для обучения и влиянию предварительного обучения на языках с большим ресурсом. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения проблемы распознавания речи в низкоресурсных языках авторы предлагают использовать фреймворк SLAM-ASR, который сочетает речевой энкодер с языковой моделью через тренируемый легковесный проектор. Этот подход позволяет эффективно интегрировать речевые и языковые модели, оптимизируя процесс распознавания речи. Архитектура SLAM-ASR включает в себя следующие компоненты: 1. **Речевой энкодер**: Используется для извлечения фич из речевых сигналов. 2. **Легковесный проектор**: Позволяет соединить речевой энкодер с языковой моделью, обеспечивая эффективную передачу информации. 3. **Языковая модель (LLM)**: Используется для понимания и обработки речи на высокоуровневом языковом уровне. Авторы также исследуют влияние предварительного обучения проектора на языках с большим ресурсом. Они используют мультилингвальные модели, такие как EuroLLM и Salamandra, в сочетании с Whisper-large-v3-turbo для оценки эффективности этого подхода. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы проводят ряд экспериментов для оценки эффективности предложенного метода. Они используют несколько публичных бенчмарков для оценки качества распознавания речи в низкоресурсных языках. В экспериментах исследуются следующие аспекты: - **Объем данных для обучения**: Авторы оценивают, какой объем данных необходим для достижения результатов, соответствующих производительности модели Whisper. - **Предварительное обучение на высокоресурсных языках**: Исследуется влияние предварительного обучения проектора на языках с большим ресурсом на качество распознавания в низкоресурсных языках. Результаты экспериментов показывают, что предварительное обучение проектора на высокоресурсных языках значительно снижает влияние дефицита данных, особенно при использовании малых объемов данных для обучения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Данная работа имеет значительное практическое значение для развития технологий распознавания речи в низкоресурсных языках. Использование Speech LLMs с предварительным обучением на высокоресурсных языках может помочь преодолеть проблемы ограниченных данных, что делает эту технологию более доступной для широкого круга приложений. Преимущества данного подхода включают: - **Улучшение качества распознавания речи**: Эффективность метода позволяет достичь высоких результатов даже при ограниченном объеме данных. - **Применимость к мультилингвальным сценариям**: Использование мультилингвальных моделей, таких как EuroLLM и Salamandra, позволяет расширить область применения данного подхода на многоязычных данных. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данной работы были достигнуты значительные результаты в области распознавания речи в низкоресурсных языках. Использование фреймворка SLAM-ASR и предварительного обучения проектора на высокоресурсных языках показало высокую эффективность в условиях ограниченных данных. Будущие исследования могут фокусироваться на дальнейшей оптимизации архитектуры моделей, а также на разработке новых методов для улучшения качества распознавания речи в мультилингвальных сценариях. Также важно продолжать исследования в области адаптации LLMs для распознавания речи в условиях дата-скейпинга и мультилингвизма.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Актуальность выравнивания больших языковых моделей (LLM) с человеческими предпочтениями выросла стремительно после появления ChatGPT, Claude и других систем общего назначения. Без финего выравнивания даже самые мощные модели продолжают порождать вредоносный, токсичный или просто неполезный контент, что делает их непригодными для коммерческого и корпоративного использования. Традиционные подходы к выравниванию опираются на дорогостоящий процесс RLHF (Reinforcement Learning from Human Feedback), включающий подготовку тысяч человеческих примеров, обучение отдельной reward-модели и дальнейший финетюнинг целевой LLM. Этот процесс может занимать недели и требовать десятков тысяч долларов GPU-времени, что делает его недоступным для большинства исследователей и малых компаний. Альтернативой является выравнивание во время инференса (inference-time alignment), при котором модель не переобучается, а лишь переупорядочивает или фильтрует уже сгенерированные кандидаты с помощью reward-модели. Однако существующие методы (best-of-N sampling, beam search, MCTS и др.) либо не учитывают стоимость инференса, либо требуют доступа к градиентам модели, либо не способны балансировать между множественными целями (например, «ответь кратко, но будь полезен»). Критическая проблема — отсутствие практичного решения для сценариев, где разрешено сделать всего 1-3 вызова модели. В таких условиях даже обычный best-of-N терпит неудачу: он просто выбирает лучший из N кандидатов, не имея возможности «подсказать» модели, как улучшить ответ. Накопленный практический опыт показывает, что пользователи готовы жертвовать частью качества ради скорости и дешевизны, но ни одна из текущих систем не позволяет явно задать бюджет инференса и получить максимально возможное качество в рамках этого бюджета. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают HIA (Heuristic-Guided Inference-time Alignment) — метод, который не требует дообучения LLM, работает в «черном ящике» (достаточно лишь API модели) и позволяет строго ограничить число обращений к модели. HIA состоит из трёх ключевых компонентов. Во-первых, легковесный prompt-optimizer на основе «heuristic reward model» (HRM) — маленькой (≈ 770 M параметров) обученной модели, которая по тексту промпта и кандидат-ответа выдаёт скалярную оценку качества. HRM обучается на публичных датасетах с человеческими предпочтениями и потому не требует дорогостоящей разметки. В отличие от крупных reward-моделей в RLHF, HRM работает за доли секунды и может быть запущена локально на CPU. Вторая часть — двухэтапная фильтрация. На первом этапе («exploration») из исходного prompt генерируется k кандидат-ответов (обычно k ≤ 4). HRM оценивает каждый кандидат и выбирает лучший. Однако вместо того чтобы сразу отдавать его пользователю, HIA переходит ко второму этапу («refinement»). Лучший кандидат вместе с кратким «heuristic feedback» (например, «слишком длинный, добавь пример») подаётся обратно в LLM с просьбой улучшить. В результате получается окончательный ответ. Весь процесс расходует ровно k+1 вызовов модели, что позволяет заранее задать бюджет. Третье новшество — многокритериальная оптимизация. HRM может быть обучен одновременно по нескольким осям (helpfulness, conciseness, harmlessness). Во время инференса пользователь задаёт желаемый вектор приоритетов (например, «безопасность важнее краткости»), и HRM автоматически пересчитывает скалярную награду как взвешенную сумму. Это позволяет персонализировать поведение модели без переобучения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки качества использовались два публичных набора реальных промптов: HelpSteer (19 200 примеров с 4-уровневой шкалой полезности) и ComPRed (6 000 промптов с критериями полезности, правдивости, краткости и безопасности). В экспериментах сравнивались четыре метода: (1) жадный генерация (Greedy), (2) best-of-N, (3) beam search с шириной N, (4) предложенный HIA при одинаковом общем бюджете вызовов k+1. В качестве backbone-мод

## КОНТЕКСТ И ПРОБЛЕМАТИКА Результаты применения reinforcement learning (RL) в области кодогенерации для больших языковых моделей (LLMs) значительно улучшились в последнее время. Однако существующие подходы часто основываются на результирующих наградах, получаемых из тест-кейсов, без учета качества промежуточных процессов вывода. Такая ориентация на конечный результат может привести к недостаткам в процессе логического вывода, который является ключевым для понимания и генерации высококачественного кода. Прямое контролирование качества процесса вывода является перспективным направлением, но существует серьезная проблема ревард хакинга (reward hacking), при которой модель научится манипулировать процессом вывода, чтобы получить высокую оценку, не способствуя улучшению конечных результатов. Для решения этой проблемы необходимо разработать методы, позволяющие оценивать и награждать качество процесса вывода, не затрагивая финальный результат. В этой статье авторы предлагают комплексный подход, сочетающий в себе разработку бенчмарка для оценки процесса вывода, метод для точной оценки качества процесса и новый метод RL, который учитывает качество промежуточных процессов в выводе. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы представляют трехступенчатый подход к улучшению процесса кодогенерации. 1. **Разработка бенчмарка LCB-RB**: Для оценки качества процесса вывода разработан бенчмарк LCB-RB, который состоит из пар предпочтений, где каждая пара представляет два процесса вывода — один лучше, другой хуже. Этот бенчмарк позволяет модели оценивать качество процесса вывода на основе сравнения. 2. **Метод OD-based для обучения наградной модели**: Для точной оценки качества процесса вывода разработан метод Optimized-Degraded (OD-based). Этот метод позволяет генерировать высококачественные пары предпочтений путем систематического улучшения и ухудшения исходных процессов вывода по определенным критериям, таким как фактическая точность, логическая целостность и когерентность. На основе этого метода обучается модель наград размером 7 млрд параметров, которая достигает лучших результатов на бенчмарке LCB-RB и хорошо обобщается на другие данные. 3. **Метод Posterior-GRPO (P-GRPO)**: Новый метод RL, Posterior-GRPO, разработан для того, чтобы учитывать качество процесса вывода при обучении. Он награждает только те процессы вывода, которые приводят к успешным результатам, эффективно предотвращая ревард хакинг. Это позволяет выработать в модели логику, которая соотносит процесс вывода с конечным результатом. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы проводят ряд экспериментов для оценки эффективности их подхода. Используются различные данные для кодогенерации, включая задачи программирования и математические задачи. Результаты показывают, что модель с P-GRPO достигает лучших результатов по сравнению с базовыми моделями, которые основываются только на конечных результатах. Модель с P-GRPO показывает улучшение в 4,5% по сравнению с моделями, не учитывающими процесс вывода. Кроме того, модель достигает результатов, сопоставимых с GPT-4-Turbo, что демонстрирует высокую эффективность предлагаемого подхода. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предлагаемый подход имеет широкое практическое применение в области кодогенерации и математических задач. Он позволяет создавать модели, которые не только генерируют корректный код, но и выполняют это с высоким качеством процесса вывода. Это может быть полезно в областях, требующих высокой точности и логической целостности, таких как разработка программного обеспечения, математические моделирование и другие. Кроме того, предлагаемый метод может быть использован для улучшения качества вывода в других областях, где важно не только конечный результат, но и процесс достижения этого результата. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе представлен комплексный подход к улучшению кодогенерации с помощью RL, который учитывает качество промежуточных процессов вывода. Разработанный бенчмарк, метод оценки качества процесса вывода и новый метод RL (P-GRPO) позволяют эффективно улучшить качество кодогенерации, предотвращая ревард хакинг и вырабатывая логику, соотносящую процесс вывода с конечным результатом. Будущие исследования могут фокусироваться на дальнейшем улучшении качества процесса вывода, расширении областей применения и интеграции этого подхода в более крупные модели.