## Контекст Текст-на-изображение (T2I) модели, основанные на архитектурах диффузии и трансформеров, постоянно развиваются. Их обучают на больших корпусах данных, после чего эти модели опубликованы на платформах, таких как HuggingFace. Пользователи могут использовать эти модели для создания приложений, например, генерации медиаконтента, посредством оптимизации под конкретные данные. Однако появляется новый вопрос: какая модель лучше всего подходит для определенной области? Несмотря на то, что для задач классификации имеются уже оцененные методы выбора моделей, подобные подходы для T2I-моделей остаются неизученными. Мы предлагаем **Match & Choose (M&C)** — первый фреймворк для модели выбора лучшей T2I-модели для определенной области, позволяющий пользователям эффективно выбирать модели без необходимости проводить их последовательную оптимизацию. ## Метод M&C фреймворъ представляет собой граф матчей, в котором узлы соответствуют T2I-моделям и датасетам, а ребра представляют профили моделей и датасетов, оцененные на основе их выполнения. Мы разрабатываем модель, которая использует эту структуру для предсказания лучшей модели для каждого датасета. Наша модель использует три типа признаков: информацию о модели, о датасете и графические данные о матче. Мы сравниваем M&C с тремя базовыми подходами, анализируя его точность в предсказании лучшей модели. ## Результаты Мы оцениваем M&C на 32 датасетах и 10 моделях T2I. Метод показывает высокую точность: в 61.3% случаев он выбирает лучшую модель для оптимизации. Остальные случаи обычно приводят к выбору моделей с минимальным разницей в качестве результата. Этот подход позволяет экономить ресурсы за счет того, что пользователи не нуждаются в постоянной оптимизации всех моделей. ## Значимость M&C может иметь широкое применение в искусственном интеллекте, где пользователи нуждаются в эффективной оптимизации моделей. Он позволяет сократить время и ресурсы, необходимые для выбора модели, и дает пользователям возможность быстро оптимизировать свои решения. Этот фреймворк может использоваться в различных областях, включая медиа-генерацию, обработку естественного языка, и даже в сегментации изображений, где требуется высококачественное представление. ## Выводы Мы представили уникальный подход к модели выбора лучшей T2I-модели для целевого датасета. Мы показали, что M&C эффективно работает в ситуациях, где пользователи должны выбирать модели для оптимизации. Наш фреймворк может стать ключевым инструментом для улучшения работы с T2I-моделями. Мы плани

Оглавление: ## Контекст Код формируется как результат процесса, в котором разработчики решают проблемы, обращаются к документации и опыту, а также вносят ручные исправления. Однако возникает проблема: некоторые программы, особенно те, которые используются в бизнесе, недоработаны или повреждены. Эти недоработки могут привести к ошибкам или неполадкам в работе. Это проблема становится все актуальнее, если учитывать, что кроме реализации функциональности программы, разработчики должны учитывать безопасность, удобство и совместимость. Для решения этой проблемы в статье предлагается использовать diffusion model – модель, которая используется для генерации кода и выполнения операций по его модификации. ## Метод В статье предлагается использовать diffusion model, который генерирует код путем последовательного удаления шума из его закодированной представления. Этот процесс может быть использован для последнего этапа ремонта кода: когда наблюдаются малые изменения, которые могут исправить ошибки или недоработки. Для этого модель добавляет шум к неполному коду, а затем продолжает процесс генерации, пока код не будет исправлен. Кроме того, модель может использоваться для синтеза данных для последних этапов ремонта кода. В процессе генерации, модель может производить промежуточные программы, которые могут быть использованы для обучения моделей, выполняющих последние этапы ремонта кода. Это позволяет эффективно использовать ресурсы и сократить время обучения. ## Результаты В ходе исследования проводятся эксперименты на трех языках программирования: Python, Excel и PowerShell. Модель diffusion model используется для двух применений: код-ремонта и создания данных для обучения. Результаты показывают, что модель в состоянии исправить значительную часть недоработок в коде. Также она может сгенерировать данные для обучения моделей, которые используются для последнего этапа ремонта. Это делает процесс ремонта кода более эффективным и быстрым. Благодаря этому, модель может быть применена в различных сферах, где необходимо быстро и эффективно решать проблемы в коде. ## Значимость Результаты исследования показывают, что diffusion model может использоваться для решения сложной проблемы в области кодового ремонта. Эта модель имеет большой потенциал в различных сферах, где необходимо быстро и эффективно исправлять код. Это может быть применено в разработке программного обеспечения, в ИТ-отделах компаний, в сфере бизнес-приложений и многих других. Кроме того, модель позволяет эффективно использовать ресурсы, что делает процесс ремонта более удобным и быстрым. Это может привести к улучшению качества программного обеспечения и уменьшению времени, затрачива

#### Контекст Румурная деятельность в современных социальных сетях широко распространена и может иметь серьезные последствия, в том числе ущерб репутации, финансовые потери и даже угрозы безопасности. Однако автоматическое распознавание румурных сообщений остается вызовом, в связи с тем, что люди часто выражают свои мнения в виде комбинации текста и изображений, которые могут содержать ключевую информацию для распознавания румурности. Настоящая статья направлена на изучение этих проблем, с целью разработать более эффективный подход к распознаванию румурных сообщений, используя методы мультискалевого анализа и контрастного обучения. #### Метод Метод, предложенный в статье, основывается на методе контрастного обучения, а именно на алгоритме Multi-scale Image and Context Correlation exploration (MICC). Основной идеей является создание объединенных семантических векторов для текста и многомерных образов с помощью SCLIP-энкодера. Этот энкодер обучается с помощью метода contrastive pretraining, что позволяет измерить взаимную связь текста и изображений через dot-product similarity. Далее, введен модуль Cross-Modal Multi-Scale Alignment, который использует Top-K selection strategy для выделения наиболее релевантных областей изображений в контексте текста. Это достигается с помощью cross-modal relevance matrix и максимизации mutual information. Наконец, scale-aware fusion network используется для объединения многомерных фичей изображений с глобальными текстовыми фичами, присваивая адаптивные весы на основе семантической важности и cross-modal relevance. #### Результаты Проведены эксперименты на двух реальных датасетах, чтобы оценить эффективность предложенного метода. Результаты показали, что MICC существенно превосходит существующие методы в задаче распознавания румурных сообщений. Особенно выдающимися результатами оказалось улучшение accuracy, F1-score и recall. Эти результаты подтверждают многомерность и эффективность применения контрастного обучения в задачах кросс-модального распознавания. #### Значимость Предложенная модель может быть применена в различных сферах, таких как мониторинг социальных сетей, борьба с массовыми паничными и распространением вирусов информации. Основные преимущества MICC заключаются в том, что он учитывает многомерные связи между текстом и изображениями, обеспечивая более точное и достоверное распознавание румурных сообщений. Потенциальное влияние метода заключается в повышении точности распознавания и уменьшении ложных срабатываний, что может существенно повысить качество работы моделей в приложениях в режиме реального времени. #### Выводы Результаты предложенного метода MICC показывают, что контрастное обучение может значительно повысить эффективность распознавания румурных соо

## Контекст Область исследования связана с теорией рационального функционирования искусственных систем, в частности, с использованием методов искусственных нейронных сетей в решении задач обучения и анализа данных. Одна из основных проблем в этой области заключается в том, что традиционные подходы к объяснению работы систем недостаточно эффективны при работе с высокоразмерными данными и сложными моделями. Мотивация заключается в развитии новых методов объяснения, которые позволят более глубоко и точно понять, как системы определяют свои решения и что именно они выводят из данных. ## Метод Статья предлагает использовать теорию казуальных абстракций, которая позволяет глубже понять связи между представлениями внутри системы и механизмами, которые они используют для решения задач. Авторы используют методы теории связи причин и эффектов для построения моделей, позволяющих анализировать системы с точки зрения их вычислительной мощи и роли представлений. Основная техническая архитектура — использование моделей, основанных на принципах глубокого обучения с точки зрения организации связи между высокоуровневыми представлениями и их фактическим участием в выполнении задач. ## Результаты В работе представлены результаты экспериментов с нейронными сетями, показывающие, что применение теории казуальных абстракций позволяет более эффективно рассматривать системы с точки зрения их теоретической модели. Авторы также проанализировали различные данные, включая обучающие и тестовые данные, для оценки того, насколько модели могут учитывать представления и их влияние на решения. Результаты показали, что модели, основанные на теории казуальных абстракций, могут обеспечить более точные и глубокие объяснения работы систем. ## Значимость Применение теории казуальных абстракций может сыграть ключевую роль в области глубокого обучения, позволяя не только улучшить точность решений, но и обеспечить более естественное и понятное объяснение решений моделей. Это важно для развития новых подходов в области технологий искусственного интеллекта, где необходимо не только прогнозировать результаты, но и объяснять, каким образом эти результаты были получены. Это может положительно сказаться на развитии новых задач анализа данных, где разъяснение решений играет ключевую роль. ## Выводы Модели, основанные на теории казуальных абстракций, демонстрируют более глубокую и точную работу в области вычислительной моделирования. Авторы подчеркивают, что будущие исследования должны быть направлены на углубление понимания связи между представлениями и их вычислительной активностью в различных

## Контекст Large Language Models (LLMs) постоянно совершают ошибки в виде "over-refusal", то есть необоснованного отказа от обработки подозрительно безопасных запросов пользователей. Это проблема возникает из-за слишком утонченных мер безопасности, которые могут приводить к отказам даже в случае присутствия негативных последствий. Так как подобные ошибки могут серьёзно снижать надежность и пользовательский доверие к моделям, они являются критическим функциональным недостатком. На данный момент существуют ограниченные методы для тестирования такого поведения, так как тестирующие бенчмарки и генерация тестовых случаев остаются недостаточно эффективными. Наша работа является первой попыткой создания систематического подхода к обнаружению и анализу таких ошибок. ## Метод Мы предлагаем ORFuzz - первый развивающийся фреймворк для тестирования "over-refusal" в LLMs. Он включает три основных компонента: (1) выбор семян с учётом категорий безопасности для полного покрытия, (2) адаптивная оптимизация мутатора с применением логики логических моделей для произвольного генерирования тестовых случаев, и (3) OR-Judge - модель, которая подтверждена как близка к потребностям пользователя в определении токсичности и отказа. Предложенный подход позволяет генерировать разнообразные, проверенные случаи over-refusal, которые позволяют обнаруживать уязвимости в LLMs. ## Результаты Наши эксперименты показали, что ORFuzz способен генерировать значительно большее число тестовых случаев over-refusal по сравнению с текущими методами, благодаря использованию разнообразия семян и оптимизации логики. Мы обнаружили, что ORFuzz увеличивает среднюю процентную долю over-refusal в десяти разных LLMs до 6.98%, что значительно превышает результаты базовых методов. Благодаря этому, был создан ORFuzzSet - новый бенчмарк с 1,855 случаями over-refusal, который показал 63.56% успеха в тестах на 10 LLMs. Этот результат значительно превосходит существующие бенчмарки. ## Значимость Предложенный подход может быть применён в различных областях, где LLMs используются, таких как клиент-серверные системы, мобильные приложения и системы предсказания. ORFuzz является более продвинутым инструментом для обнаружения over-refusal, что помогает улучшить надежность и доверие к моделям. Мы считаем, что наша работа может способствовать развитию более надежных и пользователь-ориентированных систем на основе LLMs. ## Выводы ORFuzz является первым инструментом для систематического тестирования over-refusal в LLMs. Мы показали, что он способен генерировать более разнообразные и эффективные тестовые случаи, что позволяет обнаружить уязвимости. Мы предлагаем ORFu

## Контекст Исследование функциональных возможностей Large Reasoning Models (LRMs) в области математики остается актуальным в связи с их успехами в задачах решения математических задач. Однако существующие бенчмарки, ориентированные на проверку решения явно заданных математических задач, скрывают суть истинного интеллектуального поведения. Настоящий интеллектуальный агент должен не только решать задачи, но и способен задавать вопросы, когда задача не хватает информации. Такой функционал отсутствует у LRMs, что становится критическим элементом в их развитии. Этот пробел мотивирует разработку новых подходов к их проверке и развитию. ## Метод Для анализа возможностей LRMs разработана новая датасет, содержащий две категории неполных задач с различными контекстами. Эти задачи были разработаны с целью проверки возможности LRMs уверенно задавать вопросы в ситуациях неопределенности. Методология основывается на создании тестов, которые не только проверяют решение, но и исследуют поведение моделей в ситуациях неопределенности. Это позволило выявить слабые стороны LRMs, такие как переоценка своих возможностей, искаженное понимание задач, и выявить потенциал научных решений. ## Результаты Эксперименты показали, что LRMs существенно проваливаются в задаче проявления инициативы в ситуации нехватки информации. Они часто прибегают к предположениям или начинают "переоценивать" задачи, что приводит к неточностям. Также было выявлено, что модели склонны к "халлуцинациям", что подтверждает проблемы в их моделировании. Эти результаты направляют нас на место мониторинга и тестирования, чтобы улучшить продуктивность моделей в сложных ситуациях. ## Значимость Результаты исследования могут быть применены в различных областях, где требуется настоящая интеллектуальная модель, включая вопросы, требующие проявления проактивности и логического поведения. Данные работы открывают новые пути для развития LRMs, которые не только решают задачи, но и взаимодействуют с пользователями, вправляясь в сложные ситуации. Это может повысить ценность LRMs в реальных приложениях, повысив их удобство и эффективность. ## Выводы Основной вывод заключается в том, что LRMs, несмотря на свои успехи в решении задач, слабо работают в ситуациях, требующих активного взаимодействия с пользователем. Новые модели должны быть разработаны с учетом новых подходов, включая супервайзированный файнтюнинг и более точное моделирование задач. Будущие исследования должны сосредоточиться на преодолении этих проблем для развития истинно интеллектуальных моделей, которые будут проявлять бо

#### Контекст Large Language Models (LLMs) и Multimodal Large Language Models (MLLMs) обеспечили всплеск развития искусственного интеллекта, достигая близкого к человеческому уровня эффективности в различных задачах. Несмотря на это, большинство существующих бенчмарков и рейтинговых платформ (например, MMLU и Chatbot Arena) опираются на статические данные или подборку общедоступных задач, не отражающих настоящие сценарии применения в реальной жизни. Это существенно ограничивает возможность оценить реальное качество и применимость моделей. Инновационная платформа Inclusion Arena призвана устранить этот фактор, предлагая новый подход к оценке моделей на основе реальных пользовательских интеракций. #### Метод Inclusion Arena представляет собой платформу для live leaderboard, где модели оцениваются на основе парного сравнения, внедренного непосредственно в приложения, использующие AI. Методология основывается на двух ключевых инновациях: (1) **Placement Matches**, механизм, позволяющий быстро оценить новые модели при их внедрении в платформу; и (2) **Proximity Sampling**, стратегия сравнения моделей, выделяющая модели с близким уровнем качества, чтобы увеличить точность и стабильность рейтингов. Архитектура платформы интегрирует эти методы в натуральные пользовательские интеракции, обеспечивая действительно практические оценки моделей. #### Результаты Платформа провела широкие эмпирические эксперименты, используя стандартные и пользовательские данные в различных сценариях. Результаты показали, что Inclusion Arena достигает более высокой детерминированности рейтингов по сравнению с традиционными подходами. Метод Placement Matches позволяет быстро создавать надежные оценки для новых моделей, а Proximity Sampling увеличивает уровень информативности сравнения, уменьшая риск неточности рейтинга. Также тесты показали, что Inclusion Arena значительно снижает риск внешних вмешательств или манипуляций. #### Значимость Inclusion Arena может использоваться в различных областях, где требуется оценка моделей для реальных приложений, таких как NLP, обработка мультимодальных данных, интеллектуальные системы рекомендаций или системы взаимодействия с пользователем. Основные преимущества заключаются в том, что платформа использует реальные данные интеракций, обеспечивает более точные рейтинги, и снижает риск выполнять нечестные или неэффективные модели. Потенциальное влияние заключается в улучшении качества моделей AI, их применимости и стабильности в реальных сценариях. #### Выводы Inclusion Arena успешно ставит под угрозу традиционные подходы к оценке моделей, предлагая новый, более функциональный метод, основанный на реальных пользовательских данных. На данном этапе, плат

## Контекст Multimodal Large Language Models (MLLMs) — это мощные модели, которые обрабатывают и генерируют текст, изображения и другие типы данных. Их применение растет в областях, таких как автоматическое описание изображений, робототехника и системы помощи людям с ограниченными возможностями. Однако возникает необходимость в том, чтобы эти модели могли быть более контролируемыми и адаптированы к различным потребностям пользователей. Например, в задачах, таких как интерактивное обучение или системы помощи, пользователи могут хотеть управлять точностью и шириной результатов. **Controlling Multimodal LLMs via Reward-guided Decoding** — это попытка решить эту проблему, предлагая первую методику для воздействия на процесс определения результатов модели. ## Метод Работа предлагает новую методику для управления процессом декодирования MLLM, используя вознаграждение (reward) в качестве руководства. Этот подход включает в себя создание моделей вознаграждения, которые оценивают качество результатов модели, например, точность и ширину обнаружения объектов. Эти модели вводятся в процесс декодирования, где они отзываются для влияния на выбор слов и фраз. Таким образом, пользователь может динамически регулировать точность и ширину результатов, которые модель генерирует, не требуя предварительного обучения. Это дает гибкость в управлении работой модели во время выполнения, что важно для задач, где требуется быстрая адаптация. ## Результаты Исследование проводилось на стандартных бенчмарках, включающих задачи, такие как обнаружение объектов и интерактивные задачи генерирования текста. Были проведены эксперименты, показавшие, что новая методика дает значительный улучшение в контролируемости модели. Например, модель может быть настроена на приоритет точности или ширины обнаружения, в зависимости от задачи. Было также показано, что она показывает лучшие результаты по сравнению с другими методами гарантии точности результатов. ## Значимость Предложенный подход может быть применен в различных областях, таких как робототехника, интерактивные системы обучения и системы помощи, где требуется контролируемая интерактивность. Он позволяет улучшить качество результатов, давая пользователям большее количество возможностей для регулирования модели. Это также может привести к экономии ресурсов, так как пользователи могут регулировать ширину процесса поиска, уменьшая необходимость выполнения дорогостоящих операций. ## Выводы Наша работа представляет первую методику для контролируемого декодирования MLLM через вознаграждение. Мы демонстрируем, что модель может быть настроена на приоритет точности или ширины результатов и показывает лучшие результаты по

## Контекст AI-системы для с sup>офтарного разработки набирают все большую популярность, но вместе с этим увеличиваются и их риски. Одним из ключевых аспектов защищенного использования AI является обеспечение ее безопасности и надежности в процессе разработки программного обеспечения. Для решения этих проблем Amazon запустила Trusted AI track в рамках Amazon Nova AI Challenge — международного соревнования, в котором 10 университетов соревнуются в разработке безопасных AI-систем для разработки программного обеспечения. Соревнование позволяет глобальным экспертам демонстрировать свои технологии и проверить их на практике в живом режиме, а новые технологии позволяют трансформировать рынок. Цель соревнования — развитие технологий, обеспечивающих безопасность и надежность при разработке AI-систем. ## Метод В соревновании принимают участие 10 команд, разделенных на две категории: 5 команд разрабатывают red-teaming bots, а 5 команд — safe AI assistants. Участники имели доступ к высококачественной аннотированной выборке данных для обучения и тестирования своих моделей. Кроме того, был разработан custom baseline coding specialist model, а также созданы инструменты для турнирных процессов. Методы разработки AI-систем включали reasoning-based safety alignment, robust model guardrails, multi-turn jail-breaking и efficient probing of large language models (LLMs). Организация турниров позволила протестировать эти методы в условиях адверсарского соревнования. ## Результаты Участники соревнования достигли впечатляющих результатов на протяжении соревнования. Они разработали новые методы для обеспечения безопасности AI, в том числе научные разработки в области automated red teaming, safe AI assistants, и обеспечения гибкости моделей. В результате соревнования были достигнуты улучшения в области проблемы jail-breaking, проверки моделей и использования специализированных моделей. Также было разработано новый подход к обеспечению безопасности AI в рамках соревнований. ## Значимость Результаты соревнования имеют значительное значение для области AI в разработке программного обеспечения. Исследования, разработанные в рамках соревнования, могут быть перенесены на широкий спектр применений, включая безопасное использование AI в разработке программного обеспечения. Этот подход может быть использован в различных сферах, в том числе в сфере fintech, здравоохранения, а также в области разработки AI-систем для безопасности. Это соревнование имеет потенциал для повышения уровня безопасности AI в развитии программного обеспечения. ## Выводы В результате Amazon Nova AI Challenge были достигнуты впечатляющие достижения в области безопасности AI. Участники соревнования разработали новые технологии, которые могут быть использованы в будущем для с sup>офтарной разработ

#### Контекст Визионно-языковое навигационное моделирование (VLA) широко применяется в сегменте развития искусственного интеллекта. Однако существующие модели часто спотыкаются при выполнении инструкций, теряя правильный путь. У них часто недостаточно силы для корректировки ошибок, что приводит к неточности или полной неуспешности выполнения. В этой статье мы рассматриваем эту проблему, сформулируя ее как центральную задачу, и предлагаем новую модель, которая может самостоятельно исправляться в процессе работы. #### Метод Мы предлагаем **Self-correction Flywheel** — пост-тренировочный подход, использующий ошибки модели в качестве ресурса. Данный подход включает в себя методы для определения и анализа ошибочных траекторий модели, а также механизмы для генерирования самокорректирующихся данных, которые улучшают модель при последовательных циклах обучения. Мы разработали модель CorrectNav, основанную на этих принципах. Модель использует монохромные RGB-изображения и получает инструкции на языке, выполняя целевую навигационную задачу. #### Результаты Мы провели эксперименты на двух бенчмарках: R2R-CE и RxR-CE. Наши эксперименты показали, что CorrectNav показывает новые рекорды в успешном навигационном выполнении — 65.1% на R2R-CE и 69.3% на RxR-CE. Эти результаты превосходят предыдущие модели на 8.2% и 16.4% соответственно. Также мы проверили модель на реальном роботе в различных внутренних и внешних средах, где она продемонстрировала значительные достижения в корректировке ошибок, избегании динамических препятствий и долгосрочном следовании инструкциям. #### Значимость Наша модель может быть использована в различных приложениях, таких как управление роботами, автономное перемещение транспортных средств и визуально-языковые приложения. Преимущества включают высокую точность, долгосрочную навигацию и способность самостоятельно корректироваться во время работы. Это может повлиять на развитие более надежных и удобных систем навигации в различных сферах. #### Выводы Мы демонстрируем силу нашего подхода в моделировании VLA и показываем, что он может стать основой для развития будущих моделей. Будущие исследования будут сфокусированы на расширении модели CorrectNav для более сложных и полимодальных задач навигации, а также на изучении ее поведения в более сложных и реальных средах.