## Контекст В настоящее время визуальная ментальная имитажирование считается одним из ключевых способов решения задач, требующих сложного когнитивного поведения. Однако, существуют теории, согласно которым некоторые типы задач могут быть решены без визуального восприятия, а скорее с использованием пропозиционального рассуждения. Участники исследований часто утверждают, что данные задачи не могут быть выполнены без визуальной формы восприятия. Это ставит под сомнение возможность выполнения таких задач с использованием пропозиционального рассуждения. В данном исследовании предлагается новый подход для оценки таких когнитивных процессов в искусственных системах. ## Метод Для проведения исследования были использованы современные технологии в области глубокого обучения и машинного зрелища. Авторы создали новый набор парных изображений, которые были использованы в тестовых задачах. Для тестирования LLMs был применен метод визуального рассуждения, позволяющий изменять изображения в зависимости от выполненных трансформаций. Был также создан референсный тест для людей, чтобы сравнить их результаты с результатами LLMs. Эксперименты проводились на нескольких моделях текстовых LLMs с разным количеством токенов. ## Результаты На основе результатов экспериментов было обнаружено, что лучшие модели LLM могут решать задачи, которые, по идее, требуют визуальной ментальной имитажирование, с уровнем выполнения, превосходящим средний уровень человеческого выполнения. Было обнаружено, что лучшие модели показали высокую эффективность при использовании большего количества токенов для рассуждения. Также было обнаружено, что лучшие LLMs могут показать более высокий результат, чем человеческий уровень, при условии достаточного объема рассуждения. ## Значимость Найденные результаты могут иметь важное значение для развития теорий о визуальных ментальных имитажированиях. Они показывают, что некоторые задачи, которые ранее считались визуально-зависимыми, могут быть выполнены без визуального восприятия, а скорее с помощью пропозиционального рассуждения. Это может иметь значительное значение в развитии новых моделей и технологий, которые могут быть использованы в разных областях, таких как автоматизация, искусственный интеллект, робототехника и многие другие. ## Выводы В итоге, данное исследование демонстрирует, что лучшие модели LLM могут выполнять задачи, которые, по идее, требуют визуальной ментальной имитажирование, используя пропозициональное рассуждение. Это открывает новые возможности для развития искусственного

#### Контекст Интеграция искусственного интеллекта (ИИ) в медицинские процессы диагностики становится все более актуальной, однако требуется разработать согласованные и надежные методы оценки точности и клинической значимости таких систем. Существующие метрики, такие как precision и recall, часто не учитывают вариативность медицинских оценок, что приводит к несогласованным результатам. Другие показатели, например, Cohen's Kappa, хотя и демонстрируют более высокую надежность, но не имеют легкой интерпретируемости. Из-за этого необходимо разработать методы, которые учитывали бы вариативность медицинских оценок и предоставляли более реалистичный подход к оценке ИИ в медицине. #### Метод Мы предлагаем новую методологию оценки медицинских ИИ, основанную на Relative Precision and Recall of Algorithmic Diagnostics (RPAD) и Relative Recall of Algorithmic Diagnostics (RRAD). Эти метрики сравнивают результаты ИИ с множеством медицинских оценок, а не с одной стандартной справочной диагностикой. Это позволяет учесть вариативность медицинских мнений. Оптимизируя подход, мы также применяем автоматизированную систему для установления бесформенных клинических диагнозов, что повышает точность до 98%. Исследование основывается на анализе 360 медицинских диалогов, в которых сравниваются несколько больших языковых моделей (LLMs) с мнениями группы врачей. #### Результаты Исследование показало, что наиболее продвинутые языковые модели, такие как DeepSeek-V3, демонстрируют высокую консистентность и точность, которая соответствует или превышает клинические оценки. Мы также отметили, что медицинские оценки часто чрезвычайно вариативны, и вариации между мнениями врачей могут превышать различия между оценками ИИ и человека. Это подчеркивает необходимость использования относительных метрик в оценке ИИ. #### Значимость Новая оценочная методология может быть применена в различных клинических направлениях, где требуется надежность диагностики и сравнение результатов с множеством медицинских мнений. Результаты показывают, что ИИ может не только сочетать множество диагностических мнений, но и преодолевать вариативность медицинских оценок, что значительно повышает надежность систем. Этот подход имеет большой потенциал для улучшения медицинского ИИ и расширения его применения в реальных клинических условиях. #### Выводы Наши исследования показали, что RPAD и RRAD предлагают новый подход к оценке точности ИИ в медицине, учитывая вариативность медицинских оценок. Мы также отметили, что ИИ может превосходить многие клинические оценки в консистентности результатов. В буду

#### Контекст Модели большого размера для решения задач логического и математического разума (Large Reasoning Models, LRMs) показали сильный потенциал при решении сложных задач. Однако, несмотря на высокую точность, эти модели требуют больших вычислительных ресурсов во время инференса. Для улучшения эффективности используются методы тест-тайм скейлинга (Test-Time Scaling, TTS), которые направляют модели на повторное рассмотрение задач с целью улучшения результатов. Однако, существующие методы часто ограничиваются лишь перезапуском модели на тех же данных, не используя предыдущие попытки, что приводит к значительному увеличению времени и затрат. Мы предлагаем Sticker-TTS — новую архитектуру TTS, которая использует историческую информацию для эффективного решения задач. #### Метод Sticker-TTS основывается на механизме "стикер-драйвен" (sticker-driven), который обеспечивает координацию трех LRMs в итеративном процессе. Стикеры — это ключевые метки-контексты, которые помогают моделям выделять, уточнять и повторно использовать важные сведения во время решения. Мы вводим два этапа оптимизации: 1) имитационное обучение (imitation learning) для подготовки моделей к работе, и 2) самоулучшение (self-improvement) для дальнейшего улучшения результатов. Эта двухэтапная стратегия позволяет моделям не только использовать предыдущие результаты, но и продолжать улучшаться с каждым циклом. #### Результаты Мы проверяли эффективность Sticker-TTS на трех сложных задачах: AIME-24, AIME-25 и OlymMATH. Наши результаты показали, что Sticker-TTS показывает более высокую точность по сравнению с другими методами TTS, включая самосогласованность и сложные методы глубокого обучения. Мы также провели эксперименты, демонстрирующие, как стикеры позволяют моделям эффективнее использовать информацию, сократив время и снижая затраты ресурсов. #### Значимость Sticker-TTS может применяться в области математического и логического моделирования, где высокая точность и эффективность ключевые. Наша модель позволяет повысить эффективность больших моделей, используя исторические результаты, что может снизить затраты вычислительных ресурсов. Это также открывает новые возможности для применения TTS в реальных системах, где максимальная эффективность важна. #### Выводы Sticker-TTS демонстрирует значительные преимущества в использовании исторических результатов для улучшения решений. Мы планируем расширить нашу модель для работы с другими видами решений задач, включая текстовое моделирование и динамические системы. Это позволит улучшать эффективность и точность моделей в различных областях, где тест-тай

## Контекст Крупномасштабные языковые модели (LLM) находят широкое применение в различных областях, включая обучение и сопровождение диалогов. Однако их точность и эффективность в инструкционных диалогах часто ограничиваются существующими архитектурными ограничениями, которые могут недостаточно адаптироваться к контексту или недостаточно направлять пользователя по структурированному рассуждению. Эти ограничения могут приводить к неточностям в решениях, несоответствию контекста или несохранению памяти в диалоге. Целью данного исследования является изучение влияния архитектурных особенностей на умственное поведение LLMs в инструкционных диалогах и разработка механизмов, которые могут улучшить их способность работы в таких ситуациях. ## Метод Методология исследования основывается на использовании символического механизма скаффолдинга (scaffolding), который включает в себя короткосрочную схему памяти. Модель проектировалась для поддержки адаптивного и структурированного рассуждения в контексте систем ассистентов. Функциональность модели была расширена пятью вариантами, каждый из которых отличался различными компонентами, такими как расширенная система памяти или улучшенная система символического рассуждения. Для оценки выходных данных использовался специально разработанный рубрикат, включающий критерии, такие как символическое рассуждение, отзывчивость и контекстная память. Эксперименты проводились с использованием ЛЛМ-фреймворка, позволяющего сравнивать воздействие различных архитектурных вариантов. ## Результаты Эксперименты показали, что полная модель, включающая символический скаффолдинг и короткосрочную память, показала существенно лучший результат в сравнении с базовыми вариантами. Эти результаты были подтверждены с помощью рубриката, который оценивал ключевые аспекты, такие как символическое рассуждение и контекстная память. Удаление символической структуры или короткосрочной памяти приводило к значительной ухудшению результатов, в том числе и в сфере абстрактного рассуждения, адаптивного пробития и последовательности концептуальных соображений. Эти результаты подтверждают, что комбинация символической структуры и памяти может улучшить не только работу LLMs в инструкционных диалогах, но и их общую способность выполнять когнитивные задачи. ## Значимость Полученные результаты открывают новые возможности для применения LLMs в области обучения и сопровождения диалогов. Этот подход может быть применен в различных сферах, включая образовательные платформы, сист

## Контекст Подготовка высококачественных учебных материалов является трудоемкой задачей, требующей значительного времени и усилий. На сегодняшний день, преподаватели, учебные координаторы и дизайнеры обучения должны взаимодействовать для создания систематических, актуальных и доступных для студентов материалов. Этот процесс часто ограничивается ресурсами, в результате чего в развивающихся странах и менее приоритетных учебных заведениях недостаточно доступны качественные учебные ресурсы. Авторы статьи предлагают решение, ориентированное на автоматизацию этого процесса с помощью технологий больших языковых моделей (LLM). Модель Instructional Agents предназначена для автоматизации подготовки учебных материалов, включая синтез силогам, скриптов лекций, слайдов в формате LaTeX и вопросов для оценки. Эта инициатива призвана снизить нагрузку на преподавателей и улучшить доступность учебных ресурсов. ## Метод Instructional Agents представляет собой рамфам-подход, включающий несколько ролевых агентов, которые взаимодействуют для создания квалифицированных учебных материалов. Модель использует технологии трансформативных генеративных моделей, что позволяет создавать результаты, сочетающие креативность и точность. Метод разделяется на несколько этапов: 1. **Инициализация системы**: Агенты получают входные данные в виде курсовых требований и учебных целей. 2. **Ролевое взаимодействие**: Каждый агент выполняет свою роль (например, создание лекций, силога, слайдов), чтобы обеспечить гармонию. 3. **Применение технологий LLM**: Модели используют текстовую генерацию для синтеза текстовых материалов и генеративные сети для создания визуальных элементов, таких как слайды. 4. **Взаимодействие с пользователем**: Модель предлагает три уровня вмешательства: Autonomous (автономная работа), Catalog-Guided (гайды с использованием уже готовых материалов) и Feedback-Guided (с включением корректировок от пользователя). ## Результаты Авторы провели эксперименты на пяти курсах высшего образования в области компьютерных наук. Результаты показали, что Instructional Agents способна генерировать высококачественные учебные материалы, соответствующие учебным требованиям. Выявлено, что система сокращает время подготовки материалов на 40% и уменьшает трудозатраты участников процесса в 2 раза. Кроме того, система продемонстрировала гибкость, позволяя выбирать степень вмешательства человека в процесс. ## Значимость Этот подход может быть применен в различных областях образования, особенно там, где существуют ограничения ресурсов или не

## Контекст Данная работа основывается на области обработки естественного языка, а именно на задаче **Joint Entity-Relation Extraction (JERE)**, которая представляет собой идентификацию сущностей и их взаимосвязей в тексте. Несмотря на важность этой задачи в различных приложениях, таких как медицинская информатика, интернет-реклама и юридические приложения, создание эффективных систем JERE остается сложной задачей. Существующие подходы, основанные на машинном обучении, часто требуют больших объемов аннотированных данных и имеют ограниченную возможность интеграции доменной информации в модели. Это приводит к высокой сложности, дорогостоящему обучению и ограниченной гибкости. Исследователи призваны разработать более эффективный и гибкий подход к решению этой задачи. ## Метод Предлагаемый подход сочетает в себе мощь **generative pretrained large language models (LLMs)** и технологии **Answer Set Programming (ASP)**. Генерируемые LLMs обеспечивают мощь в разборе и понимании естественного языка, работая непосредственно с неаннотированным текстом. ASP, в свою очередь, предоставляет гибкие возможности знаний и разума, позволяя легко интегрировать доменные спецификации без внесения изменений в основной код. Разработанная рабочая схема JERE представляет собой гибкий инструмент, который может быть применен во всех доменах, не требуя изменений в основной логике ASP при расширении знаний. ## Результаты Эксперименты проводились на трех бенчмарках для JERE: **ACE2005**, **CoNLL-2004** и **SciERC**. Данные эксперименты были проведены с ограниченным количеством тренировочных данных, чтобы продемонстрировать выносливость и эффективность подхода. Результаты показали, что LLM + ASP-подход превосходит состояние технологий в нескольких аспектах. Особенно заметное улучшение было замечено в задаче **Relation Extraction** на корпусе **SciERC**, где LLM + ASP показал 2,5 раз более высокую точность (35% против 15%) при использовании только 10% обучающих данных в сравнении с состоянием технологий. ## Значимость Предложенный подход имеет широкие приложения во всех областях, где требуется выделение сущностей и их взаимосвязей, включая здравоохранение, юриспруденцию, интернет-рекламу и другие. Основные преимущества LLM + ASP заключаются в том, что он не требует больших объемов аннотированных данных, гибко интегрирует доменную информацию и показывает высокую эффективность даже при ограниченных ресурсах тренировочных данных. Это может привести к значительным экономиям времени и ресурсов в разработке моделей JERE. ## Выводы Основные достижения этой работы состоят в разработке универсальной рабочей схемы JERE, которая объединяет мощ

## Контекст AI-системы для с sup>офтарного разработки набирают все большую популярность, но вместе с этим увеличиваются и их риски. Одним из ключевых аспектов защищенного использования AI является обеспечение ее безопасности и надежности в процессе разработки программного обеспечения. Для решения этих проблем Amazon запустила Trusted AI track в рамках Amazon Nova AI Challenge — международного соревнования, в котором 10 университетов соревнуются в разработке безопасных AI-систем для разработки программного обеспечения. Соревнование позволяет глобальным экспертам демонстрировать свои технологии и проверить их на практике в живом режиме, а новые технологии позволяют трансформировать рынок. Цель соревнования — развитие технологий, обеспечивающих безопасность и надежность при разработке AI-систем. ## Метод В соревновании принимают участие 10 команд, разделенных на две категории: 5 команд разрабатывают red-teaming bots, а 5 команд — safe AI assistants. Участники имели доступ к высококачественной аннотированной выборке данных для обучения и тестирования своих моделей. Кроме того, был разработан custom baseline coding specialist model, а также созданы инструменты для турнирных процессов. Методы разработки AI-систем включали reasoning-based safety alignment, robust model guardrails, multi-turn jail-breaking и efficient probing of large language models (LLMs). Организация турниров позволила протестировать эти методы в условиях адверсарского соревнования. ## Результаты Участники соревнования достигли впечатляющих результатов на протяжении соревнования. Они разработали новые методы для обеспечения безопасности AI, в том числе научные разработки в области automated red teaming, safe AI assistants, и обеспечения гибкости моделей. В результате соревнования были достигнуты улучшения в области проблемы jail-breaking, проверки моделей и использования специализированных моделей. Также было разработано новый подход к обеспечению безопасности AI в рамках соревнований. ## Значимость Результаты соревнования имеют значительное значение для области AI в разработке программного обеспечения. Исследования, разработанные в рамках соревнования, могут быть перенесены на широкий спектр применений, включая безопасное использование AI в разработке программного обеспечения. Этот подход может быть использован в различных сферах, в том числе в сфере fintech, здравоохранения, а также в области разработки AI-систем для безопасности. Это соревнование имеет потенциал для повышения уровня безопасности AI в развитии программного обеспечения. ## Выводы В результате Amazon Nova AI Challenge были достигнуты впечатляющие достижения в области безопасности AI. Участники соревнования разработали новые технологии, которые могут быть использованы в будущем для с sup>офтарной разработ

## КОНТЕКСТ И ПРОБЛЕМАТИКА Актуальность выравнивания больших языковых моделей (LLM) с человеческими предпочтениями выросла стремительно после появления ChatGPT, Claude и других систем общего назначения. Без финего выравнивания даже самые мощные модели продолжают порождать вредоносный, токсичный или просто неполезный контент, что делает их непригодными для коммерческого и корпоративного использования. Традиционные подходы к выравниванию опираются на дорогостоящий процесс RLHF (Reinforcement Learning from Human Feedback), включающий подготовку тысяч человеческих примеров, обучение отдельной reward-модели и дальнейший финетюнинг целевой LLM. Этот процесс может занимать недели и требовать десятков тысяч долларов GPU-времени, что делает его недоступным для большинства исследователей и малых компаний. Альтернативой является выравнивание во время инференса (inference-time alignment), при котором модель не переобучается, а лишь переупорядочивает или фильтрует уже сгенерированные кандидаты с помощью reward-модели. Однако существующие методы (best-of-N sampling, beam search, MCTS и др.) либо не учитывают стоимость инференса, либо требуют доступа к градиентам модели, либо не способны балансировать между множественными целями (например, «ответь кратко, но будь полезен»). Критическая проблема — отсутствие практичного решения для сценариев, где разрешено сделать всего 1-3 вызова модели. В таких условиях даже обычный best-of-N терпит неудачу: он просто выбирает лучший из N кандидатов, не имея возможности «подсказать» модели, как улучшить ответ. Накопленный практический опыт показывает, что пользователи готовы жертвовать частью качества ради скорости и дешевизны, но ни одна из текущих систем не позволяет явно задать бюджет инференса и получить максимально возможное качество в рамках этого бюджета. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают HIA (Heuristic-Guided Inference-time Alignment) — метод, который не требует дообучения LLM, работает в «черном ящике» (достаточно лишь API модели) и позволяет строго ограничить число обращений к модели. HIA состоит из трёх ключевых компонентов. Во-первых, легковесный prompt-optimizer на основе «heuristic reward model» (HRM) — маленькой (≈ 770 M параметров) обученной модели, которая по тексту промпта и кандидат-ответа выдаёт скалярную оценку качества. HRM обучается на публичных датасетах с человеческими предпочтениями и потому не требует дорогостоящей разметки. В отличие от крупных reward-моделей в RLHF, HRM работает за доли секунды и может быть запущена локально на CPU. Вторая часть — двухэтапная фильтрация. На первом этапе («exploration») из исходного prompt генерируется k кандидат-ответов (обычно k ≤ 4). HRM оценивает каждый кандидат и выбирает лучший. Однако вместо того чтобы сразу отдавать его пользователю, HIA переходит ко второму этапу («refinement»). Лучший кандидат вместе с кратким «heuristic feedback» (например, «слишком длинный, добавь пример») подаётся обратно в LLM с просьбой улучшить. В результате получается окончательный ответ. Весь процесс расходует ровно k+1 вызовов модели, что позволяет заранее задать бюджет. Третье новшество — многокритериальная оптимизация. HRM может быть обучен одновременно по нескольким осям (helpfulness, conciseness, harmlessness). Во время инференса пользователь задаёт желаемый вектор приоритетов (например, «безопасность важнее краткости»), и HRM автоматически пересчитывает скалярную награду как взвешенную сумму. Это позволяет персонализировать поведение модели без переобучения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки качества использовались два публичных набора реальных промптов: HelpSteer (19 200 примеров с 4-уровневой шкалой полезности) и ComPRed (6 000 промптов с критериями полезности, правдивости, краткости и безопасности). В экспериментах сравнивались четыре метода: (1) жадный генерация (Greedy), (2) best-of-N, (3) beam search с шириной N, (4) предложенный HIA при одинаковом общем бюджете вызовов k+1. В качестве backbone-мод