## Контекст Создание больших языковых моделей является дорогостоящим процессом, включающим в себя многочисленные малых экспериментов, которые обычно проводятся с помощью оценки на больших многозадачных коллекциях подходов. Однако существуют проблемы, связанные с неопределенностью и ненадежностью таких оценок. Это создает мотивацию для разработки более надежных методологий оценки, которые могут помочь в выборе наиболее эффективных моделей. В этой работе рассматривается анализ свойств, которые влияют на надежность бенчмарок, и предлагаются интервенции для создания высококачественных оценочных коллекций. ## Метод Разработка надежной методологии оценки построена на двух ключевых метриках: "сигнал" и "шум". Метрика "сигнал" определяет способность бенчмарка отделять модели высокого качества от низкого качества. Метрика "шум" измеряет чувствительность бенчмарка к случайной вариабельности между отдельными шагами обучения. Основной методологией является анализ этих метрик на 30 различных бенчмарках, используя 375 языковых моделей различных размеров, от 60 миллионов до 32 миллиардов параметров. Эксперименты также включают в себя разработку интервенций, направленных на улучшение сигнала и уменьшение шума. ## Результаты Исследования показали, что бенчмарки с высоким соотношением "сигнал-на шум" демонстрируют более высокую надежность при оценке моделей на малом масштабе. Бенчмарки с меньшим шумом, в свою очередь, имеют меньший ошибки в предсказаниях scaling law. Интервенции, включая переход к метрикам с лучшим соотношением "сигнал-на-шум" (например, perplexity вместо accuracy), а также фильтрацию шумовых подзадач в многозадачных оценках, привели к улучшению надежности и понижению ошибок. Также авторы предложили метод, основанный на среднем значении промежуточных чекпоинтов моделей, что приводит к уменьшению шума и повышению надежности. ## Значимость Результаты этих исследований могут быть применены в разработке и выборе бенчмарков для языковых моделей, чтобы обеспечить более точные и надежные оценки. Улучшение сигнала и уменьшение шума могут привести к более надежным результатам в малых масштабах и уменьшить ошибки в предсказаниях scaling law. Эти результаты имеют потенциал для повышения качества моделей и эффективности их разработки. ## Выводы Основные достижения этого исследования заключаются в том, что сигнал и шум являются ключевыми факторами, влияющими на надежность бенчмарков. Будущие исследования должны фокусироваться на создании новых методологий для улучшения этих метрик и расширение ис

## Контекст В последние годы многомодальные модели демонстрируют уверенный прогресс, но столкнулись с острой проблемой — недостаточной способностью к пространственному пониманию и рассуждению. Эти навыки являются ключевыми для достижения искусственного общего разума (Artificial General Intelligence, AGI). На этой фоне выход GPT-5, который утверждается как самая мощная модель AI, приобрел особое значение. Чтобы оценить современное состояние моделей в пространственной сфере, необходимо провести комплексный анализ их способности. Наша мотивация заключается в том, чтобы выявить текущие ограничения, определить основные проблемы в оценке пространственной интеллектуальности и привлечь внимание к развитию более совершенных решений. ## Метод Мы разработали подробную категоризацию пространственных задач, которая объединила различные бенчмарки и указала на их слабые места. Для оценки моделей использовались современные архитектуры, включая GPT-5, а также несколько открытых решений. Для обеспечения справедливой сравнительной оценки были применены стандартизированные данные и метрики. Эксперименты были проведены на восьми ключевых бенчмарках, требующих различных пространственных навыков, от простого распознавания объектов до сложных задач пространственного рассуждения. Бюджет экспериментов превысил 1 миллиард токенов, что дало возможность обоснованно понять силу и слабости моделей. ## Результаты Новая модель GPT-5 продемонстрировала примечательные улучшения в пространственном понимании, но еще не достигла гуманского уровня производительности. Мы выявили следующие результаты: (1) на первых трех бенчмарках GPT-5 показал самые высокие результаты, оказавшись лучше всех остальных моделей, (2) в более сложных задачах, особенно тех, требующих глубокого контекстуального понимания, его производительность падала, (3) открытые модели демонстрировали практически одинаковую производительность по сравнению с закрытыми решениями в самых сложностных сценариях. Также мы выявили некоторые ключевые проблемы, на которых даже самые мощные модели до сих пор не сумели дать полноценного ответа, включая задачи с неоднозначным контекстом и ситуациями, требующими глубокого знания ситуации. ## Значимость Результаты нашего исследования имеют большое значение в нескольких областях: (1) модели GPT-5 демонстрируют, что пространственное понимание может быть эффективно интегрировано в общую модель многомодального рассуждения, но (2) остаются проблемы в задачах, требующих высокой степени контекстуального понимания, (3) открытые модели, несмотря на недостатки, показывают высокую э

Область исследований в данной статье посвящена развитию Reinforcement Learning from Verifiable Rewards (RLVR), который является мощным подходом для улучшения возможностей Large Language Models (LLMs). Особо отмечается успех ранее разработанных моделей, таких как o-series от OpenAI. Однако настоящая проблема RLVR заключается в его ограниченности к доменам, где выход модели может быть автоматически проверен. Данная статья подходит к решению этой проблемы, расширяя RLVR на открытые задачи с использованием базы данных верифицируемых критериев (rubrics), созданных человеком, либо с помощью совместных усилий человека и модели. Наибольший упор в статье сделан на разработке и применение этой новой методологии в обучении моделей. ### Контекст В настоящее время, Reinforcement Learning from Verifiable Rewards (RLVR) широко используется для улучшения функциональных возможностей моделей языка. Однако, ограничение этого подхода в том, что он работает только в ограниченных областях, где результаты модели могут быть проверены автоматически. Например, в программировании можно проверить код на соответствие тестам, а в математике - ответы на задачи. Это ограничивает область применения RLVR. Для устранения этого ограничения, авторы предлагают расширить RLVR на открытые задачи с помощью **rubric-based rewards**, т.е. структурированных критериев, которые могут быть автоматически оценены моделью. Эта идея позволяет расширить область применения RLVR, включив в нее такие задачи, как гуманитарные науки, где оценка обычно требует человеческого вмешательства. ### Метод Для решения данной проблемы авторы предлагают разработать новую методологию, основываясь на структурированных критериях (rubrics). Эти критерии являются программно определяемыми показателями, позволяющими автоматически оценивать ответы модели. Архитектура RLVR расширяется таким образом, что она может использовать эти rubrics в качестве знаков-анахорз (anchors) для обучения модели. Использование этого подхода позволяет значительно расширить область применения RLVR, включив в него такие задачи, как гуманитарные науки, где требуется человеческая оценка. Кроме того, авторы предлагают новую архитектуру Qwen-30B-A3B с использованием этой новой методологии, которая показывает существенные улучшения в открытых задачах. ### Результаты Авторы провели эксперименты с использованием новой архитектуры Qwen-30B-A3B, используя базу данных с более чем 10,000 rubrics, разработанными человеком, моделью или в совместной работе человека и модели. Они проверили свой подход на открытых бенчмарках, включая задачи в области гуманитарных наук. Результаты показали, что их модель демонстрирует значительные улучшения по сравнению с другими моделями. Например, она показала +5.2% улуч

## Контекст Модели диалогов, основанные на нейронных сетях, широко применяются в системах коммуникации, таких как помощники-боты и системы клиентской поддержки. Однако эти модели часто склонны к нежелательному поведению, такому как отклик на оскорбления, распространение неточных сведений или даже генерация зловредного контента. Такие реакции могут превратить модели в источник риска для пользователей. В настоящей работе мы исследуем прикладывание методов имитационного обучения для заполнения пробелов в управляющих сигналах и определения нежелательных диалогов. ## Метод Мы применяем метод имитационного обучения с подходом Generative Adversarial Imitation Learning (GAIL). Архитектура политики (детерминированный политический регрессор) позволяет модели выбирать ответы на основе входных сообщений и состояний. Дискриминатор оценивает вероятность того, что диалог генерируется экспертной моделью или синтезируется моделью. Модель обучается на большом корпусе диалогов, включая экспертные примеры. Мы оптимизируем связующую функцию, чтобы политика стремилась максимизировать вероятность победы дискриминатора при адекватном поведении, в то же время уменьшая вероятность нежелательных диалогов. ## Результаты Мы проводили эксперименты с различными диалоговыми моделями, включая T5 и GPT-2. Дискриминатор обнаружил нежелательные поведения в диалогах с GPT-2 с вероятностью 85%, в то время как для T5 эта вероятность составила 70%. Мы также показали, что модель GAIL может сгенерировать более точные и эффективные ответы в сравнении с моделями, не использующими имитационное обучение. Такое различие указывает на потенциал имитационного обучения для улучшения безопасности и качества диалоговых моделей. ## Значимость Решение может применяться для мониторинга и контроля диалоговых моделей в различных сферах, включая клиентскую поддержку, системы социальной поддержки и образовательные приложения. Оно позволяет автоматически определять и исправлять нежелательное поведение, улучшая надежность и безопасность диалоговых систем. Это привлекательно для разработчиков, которым необходимо эффективно регулировать риски и соблюдать этичные стандарты. ## Выводы Наши результаты подтверждают, что метод имитационного обучения может быть эффективно применен для обнаружения и исправления нежелательного поведения диалоговых моделей. Мы планируем провести дополнительные исследования для расширения набора экспериментов и повышения точности дискриминатора. Также мы будем работать над применением этой технологии для моделей диалогов в реальных системах.

## Контекст Современное развитие глубокого обучения, особенно в области генерации текстов, привело к появлению моделей типа Large Language Models (LLM), способных генерировать высококачественный код. Однако возникла необходимость в прозрачном и уникальном привязывании авторства к такому коду. Традиционные методы watermarking часто не учитывают специфику синтаксически ограниченных языков программирования, что может привести к неэффективности или уязвимости. Это создает мотивацию для разработки более устойчивых и эффективных систем watermarking, способных корректно функционировать в таких ограниченных средах. ## Метод **CodeTracer** — это инновационная система watermarking, основанная на reinforcement learning. Ее основная черта — adaptive policy-driven approach, который использует parameterized model для управления token choice во время next-token prediction. Этот подход обеспечивает сохранение функциональности кода, при этом внедрение watermark незаметно для пользователя. Решения по максимизации результата включают: 1. **Gumbel Top-k reparameterization**, позволяющую оптимизировать дискретные решения. 2. **Comprehensive reward system**, который учитывает как процесс-level, так и outcome-level rewards. Подход CodeTracer позволяет идентифицировать подходящие token с помощью reinforcement learning, обеспечивая гибкость и точность в watermarking. ## Результаты Исследователи провели ряд экспериментов для оценки CodeTracer. Он был сравнивался с state-of-the-art baselines в тестовых средах. Основные результаты: - **Watermark detectability**: CodeTracer показал значительное улучшение в подсчете водяных знаков. - **Code functionality preservation**: Система смогла сохранить грамматическую и функциональную корректность в большинстве случаев. - **Evaluation metrics**: Результаты CodeTracer были выше на несколько процентов по отношению к baseline, что демонстрирует его преимущество. ## Значимость CodeTracer может применяться в различных сферах, где необходимо защитить авторство или контролировать применение LLM-generated code. Она позволяет: - **Повысить доверие пользователей** к коду, установив связь между кодом и его автором. - **Защитить от несанкционированного использования**, упростив возможность определения владельца. - **Применяться в коммерческих и академических сферах**, где защита прав и уникальность кода критичны. ## Выводы CodeTracer достигает высокой точности и эффективности в watermarking LLM-generated code. Он устанавливает новый стандарт в области adaptive code watermarking. Будущие исследования будут фокусироваться на улучшении scalability и упрощении механизмов reward system, чтобы совершенствовать систему CodeTracer и расширять ее возможности.

#### Контекст **Automatic Speech Recognition (ASR)** — одна из наиболее активно развивающихся областей искусственного интеллекта, нацеленная на распознавание и преобразование речи в текст. Существующие модели, такие как **OpenAI Whisper** и **NVIDIA Canary**, достигли отличных результатов в области офлайн-транскрипции. Однако эти модели не предназначены для работы в режиме streaming (реального времени) из-за архитектурных ограничений и методологии тренировки. Это приводит к высокому латенту и неэффективному использованию ресурсов. Латентность становится критичной в сценариях, где временная задержка критична (например, в системах управления железнодорожными проектами). В нашем исследовании мы адресовали эту проблему, предлагая метод по адаптации существующих моделей к требованиям реального времени, обеспечивая локальную оптимальность и низкую сложность. #### Метод Мы предлагаем преобразовать **transformer encoder-decoder** в **causal streaming model** (модель, не ориентирующуюся на будущий контекст). Это достигается путем **fine-tuning** исходного модели, включая как encoder, так и decoder. Используется **Low-Rank Adaptation (LoRA)** для эффективного обучения, а также **weakly aligned dataset** для улучшения выравнивания времени. Мы предложили новый **inference mechanism**, который использует fine-tuned model для **greedy decoding** и **beam search decoding**, обеспечивая локально оптимальные решения. Эта новая архитектура позволяет модели работать в режиме с низкой задержкой, не теряя качества распознавания. Кроме того, наш процесс тренировки улучшает выравнивание времени, что позволяет создавать точные **word-level timestamps**. #### Результаты Мы провели эксперименты с разными **chunk sizes** (менее 300 мс) и сравнили нашу модель с нетрейненговыми потоковыми моделями. Результаты показали, что **fine-tuned model** превосходит уже существующие потоковые модели, при этом используя значительно меньшую сложность. Мы также показали, что наш метод выравнивания времени эффективен и позволяет легко извлекать **word-level timestamps**, которые являются важным ресурсом для пользователей в таких приложениях, как **railway management systems**. Наши **fine-tuned models** скачаны и могут быть использованы для дальнейших исследований и развития в области streaming ASR. #### Значимость Наша работа открывает новые возможности для использования моделей **ASR** в сценариях, где реальное время и низкая задержка критичны, таких как **railway management systems**, **real-time speech transcription** для динамических сред. Мы также доказали, что можно эффективно адаптировать имеющиеся модели, не требуя полного переучивания, что экономит ресурсы. Наш подход имеет **broad applications** в различных областях, таких как **real-time communication systems**, **voice assistants** и **accessibility tools**. Мы положили фундамент для дальнейших исследований в области **causal streaming models** в ASR. #### Выводы Мы успешно

## Контекст Large language models (LLMs) являются мощными инструментами для обработки текстовых задач, основываясь на возможности in-context learning (ICL), которая позволяет им выполнять разнообразные задачи с помощью простых текстовых призывов. Эти модели успешно применяются в многих областях, но понимание механизмов, скрытых за этим процессом, остается неполным. Одним из более захватывающих направлений является исследование того, могут ли LLMs учиться в контексте научных задач, особенно в физике. Физические системы предлагают реальные, данные на основе физических принципов, и их моделирование требует строгого логического мышления. Это делает физические задачи полезными для исследования возможностей LLMs в области устранения неполадок в физических системах. В данном исследовании мы рассматриваем возможность LLMs для того, чтобы "узнавать" физику в контексте и проверяем, насколько эффективно они могут применять эти знания для решения задач. ## Метод Мы использовали метод in-context learning для оценки возможностей LLMs в физических задачах, опираясь на задачу прогнозирования динамики. Для выявления того, какие части модели активируются в процессе обучения, мы использовали sparse autoencoders (SAEs), которые позволяют определить, какие физические параметры (например, энергия) содержатся в внутренних представлениях модели. Выполнялись повторяемые эксперименты с разными размерами контекста, чтобы проверить, насколько длинные текстовые призывы влияют на точность прогнозов. Эти эксперименты направлены на выявление, как LLMs учится в контексте, и какие физические понятия они могут выучить в процессе обучения. ## Результаты Наши эксперименты показали, что точность прогноза динамики в физических системах в LLMs улучшается, когда используются более длинные контексты. Мы также выявили, что внутренние представления модели, полученные с помощью SAEs, сильно коррелируют с физическими параметрами, такими как энергия системы. Это указывает на то, что LLMs могут выучивать и хранить значимые физические величины во время обучения в контексте. Мы также заметили, что модель выделяет важные резюме системы, которые позволяют ей делать достаточно точные прогнозы. ## Значимость Наши результаты показывают, что LLMs могут выучивать физические законы в процессе обучения, что может быть использовано в различных областях, таких как прогнозирование динамики физических систем, моделирование реальных физических процессов или даже в области искусственного интеллекта в сфере робототехники и автоматизации. Это демонстрирует потенциал LLMs для переноса знаний из текста в реальные задачи, что может иметь большой потенциал в област

## Контекст Маскированные диффузионные языковые модели (Masked Diffusion Language Models, MDLMs) - это последняя модель, получившая популярность в генерируемых задачах естественного языка. Их привлекательность возникает из-за простоты обучения и масштабируемости, которые делают их удобными для работы с упрощенными моделями языковых моделей. Работает MDLM путем постепенного уменьшения шума в данных, что позволяет строить более точные языковые модели. Несмотря на то, что диффузионные модели показали себя во время обучения, они до сих пор сталкиваются с проблемами в генерации текста, такими как низкая точность генерации и проблемы с избыточностью. Несмотря на эти проблемы, диффузионные модели по-прежнему являются выдающимся подходом к генерации текстов, особенно в случае использования инференце-тайм скалирования. Мы предлагаем простой подход для повышения качества генерации текстов, используя инференце-тайм скалирование, что позволяет лучше подобрать лучшие генерации выходных данных. Мы покажем, что наши вновь введенные методы позволяют генерировать высококачественные тексты и превосходят существующие модели, в том числе авторегрессионные. ## Метод Мы предлагаем метод инференце-тайм скалирования, использующий гибкое скалирование с различными весами в генерации текста. Наша модель постранично создает тексты, используя диффузионную модель, а затем применять гибкую оценку каждого слоя. Мы также используем внешний верификатор, чтобы улучшить генерацию на каждом шагу генерации. В основе нашего подхода лежит гибкое скалирование верификатора, которое позволяет подбирать лучшие варианты текста во время реализации. Мы используем предварительно обученные модели для верификации генерации, что позволяет получить высококачественные результаты в тексте. Метод был протестирован на широкоупотребительных задачах генерации текста, в том числе для текстового стилевого перевода. ## Результаты Мы провели ряд экспериментов, чтобы показать эффективность нашего подхода. Мы использовали стандартные данные для текстового стилевого перевода, включая данные из стандартных тасков генерации текста. Мы сравнили результаты с основными методами, включая авторегрессионную модель. Наши результаты показали, что наша модель превосходит авторегрессионные модели в качестве генерации текста и позволяет получить высококачественные результаты в текстовом стилевом переводе. Мы также показали, что использование внешнего верификатора позволяет улучшить качество генерации, даже при использовании простых верификаторов, таких как предварительно обученные

#### Контекст Трансформеры стали важной компонентой современной ИИ, позволяя решать задачи классификации с высокой точностью. Однако, необходимость в интерпретируемости моделей приводит к трудностям: традиционное разделение на рационализаторы и классификаторы приводит к нестепенности и нестабильности тренировки. Многие существующие подходы страдают от этих проблем, что негативно сказывается на их универсальности и применимости. Мотивацией для настоящего исследования является создание системы, объединяющей классификацию и рационализацию в единой модели, обеспечивающей прозрачность и устойчивость тренировки. #### Метод Мы предлагаем end-to-end differentiable training paradigm, в котором единая модель выполняет три функции: классификации, выделения рациональных фрагментов и оценки их вклада в классификацию. Мы используем three-player-game с упрощенным подходом, где модель выполняет все три роли. Это устраняет распространенные проблемы стабильности тренировки и упрощает архитектуру. Для рационального выделения мы используем parameterizing и regularizing, что позволяет повысить точность и согласованность с человеческими аннотациями. Такой подход не только улучшает стабильность, но и позволяет производить class-wise rationales, улучшая их качество и соответствие рукописным аннотациям. #### Результаты Мы проводили эксперименты на различных датасетах, включая IMDB и SST-2, чтобы проверить эффективность нашего подхода. Мы сравнивали нашу модель с традиционными three-player-game системами и показали, что наш подход существенно выигрывает в стабильности и точности классификации. Мы также показали, что наша модель лучше выполняет class-wise rationales, согласовываясь с рукописными аннотациями без явного наблюдения за ними в процессе обучения. Эти результаты подтверждают, что наш подход является state-of-the-art в области рационализации трансформеров. #### Значимость Наш подход открывает широкие возможности для применения в различных областях, где необходима прозрачность и уверенность в классификации. Он может быть использован в медицине, юриспруденции, финансах, где важно понимать, почему модель приняла конкретное решение. Мы также отмечаем преимущества state-of-the-art alignment с рукописными аннотациями, что значительно повышает надежность и предсказуемость модели. Мы планируем расширить наш подход, включив возможность повышенной спецификации и фокусировки на задаче, что может сделать нашу модель еще более универсальной и эффективной. #### Выводы Мы представили end-to-end differentiable training paradigm, который объединяет классификацию и рационализацию в единую модель, повышая стабильность и точность. Мы показали, что наш подход лучше выпо

## Контекст Ovis2.5 является усовершенствованием Ovis2, разработанным для нативного разрешения визуального восприятия и сильного многомодального разума. Он интегрирует трансформер визуального восприятия нативного разрешения, обрабатывающий изображения в их первоначальных, переменных разрешениях. Это позволяет избежать ухудшения качества, связанного с фиксированным разрешением, и сохранить как тонкие детали, так и глобальный макет, что крайне важно для текстов с большим количеством информации, таких как сложные чарты. Дополнительно, модель обучена перейти за линейный цепочный способ мышления и выполнять рефлексию, включая самопроверку и корректировку. Эта расширенная функция доступна в качестве дополнительного "режима мышления" во время интерпретации, позволяя пользователям соотносить затраты на процессорное время с улучшением точности в сложных задачах. Обучение Ovis2.5 проходит через пятиэтажную систему курса, постепенно углубляющую свои навыки. Эта процедура начинается с основных визуальных и многомодальных предварительных тренировок, потом переходит к широкомасштабному тюнингу инструкций и заканчивается выравниванием и улучшением разума с помощью DPO и GRPO. Для эффективного масштабирования этих улучшений, авторы использовали мультимодальный пакетный данных и гибридную параллельность, что привело к значительному ускорению в общем виде. ## Метод Ovis2.5 использует совершенно новую конструкцию, включающую в себя трансформер визуального восприятия нативного разрешения, который обрабатывает изображения в их исходных разрешениях. Это позволяет избежать потерь деталей и глобального макета, которые могут возникнуть при использовании фиксированного разрешения. Более того, модель обучена выступать в режиме "мышления", что позволяет перемещаться за линейный цепочный способ мышления и выполнять рефлексию, включая самопроверку и корректировку. Этот режим может быть активирован во время интерпретации, чтобы улучшить точность на сложных задачах, при этом это может привести к увеличению затрат на процессорное время. Для обучения использовалась пятиэтажная система курса, которая постепенно углубляет навыки модели. Этот процесс начинается с основных визуальных и многомодальных предварительных тренировок, затем переходит к широкомасштабному тюнингу инструкций и завершается выравниванием и улучшением разума с помощью DPO и GRPO. ## Результаты Проведенные эксперименты показали, что Ovis2.5-9B показал средний результат 78.3 на OpenCompass multimodal leaderboard, что значительно превышает результаты Ovis2-8B и других открытых моделей с менее чем 40B параметра