## Контекст Многомодальные большие языковые модели (MLLMs) показали свою эффективность в различных визуально-языковых задачах, включая понимание трафика. Однако существующие модели часто ограничиваются широкой интерпретацией всей картины или видео, недостаточно учитывая тонкие детали изображений или локальные компоненты сцены. Это затрудняет применение в сложных сценариях аварийного трафика. Для развития технологий, способных обеспечивать более тонкую интерактивность в таких сценариях, требуется развитие новых подходов, которые бы позволили моделям более точно инте pretерпеть и анализировать сложные трафические сцены на уровне пикселей. ## Метод Мы предлагаем SafePLUG, новую архитектуру, которая обеспечивает MLLMs возможность работы на уровне пикселей, а также включает в себя возможность темпоральной гранулярности. Модель обеспечивает способность к работе в регионах визуальных проводах (интересов), реализуя возможности для точного вопроса-ответа, а также возможность автоматической сегментации пикселей по языковым инструкциям. Благодаря этим возможностям, модель способна обнаруживать и анализировать случаи взаимодействия подробных объектов в сцене, а также распознавать временные события в трафиках. Мы также создали новую датасет для трафика, содержащую мультимодальные вопросы-ответы, пиксельно-уровневые заметки, а также отметки времени для событий. ## Результаты Выполнены ряд экспериментов, подтвердивших высокую эффективность SafePLUG в различных задачах, включая региональное вопрос-ответ, пиксель-уровневую сегментацию, локализацию временных событий и понимание сцен в целом. Модель показала свою высокую точность при работе с мультимодальными данными и детальной работой с пикселями, что способствует повышению точности понимания сложных трафических сцен и повышению безопасности на дороге. ## Значимость Модель SafePLUG может иметь широкое применение в системах "умного" транспорта, включая анализ видео трафика, помощь водителям, а также в системах со смарт-транспортом. Основное преимущество модели заключается в том, что она позволяет обрабатывать видео трафика на уровне пикселей, что повышает точность распознавания объектов и взаимодействий в сцене. Это может положительно сказаться на развитии систем автоматического управления транспортом, улучшении безопасности на дорогах и повышении ситуационной осведомленности водителей. ## Выводы SafePLUG достигает высокой точности в ряде задач понимания трафика, включая региональное вопрос-ответ, пиксе

#### Контекст Область искусственного интеллекта (ИИ) продолжает развиваться с целью решения важных задач, включая генерацию описаний изображений. Несмотря на значительные успехи в области обнаружения объектов и генерации текстов, генерирование точных и описательных каптионов для изображений остается сложной задачей. Отсутствие точности и соответствия между сгенерированным описанием и контекстом изображения является одной из основных проблем. Существующие подходы часто игнорируют важность визуальных регионов, которые имеют ключевое значение для понимания сцены. Это приводит к менее точным и нерелевантным каптионам. Наша мотивация заключается в разработке метода, который улучшит соответствие каптионов контексту изображения, усилив внимание на самых существенных частях изображения. #### Метод Мы предлагаем Attention-Guided Image Captioning (AGIC), который усиливает важные визуальные регионы напрямую в пространстве признаков для улучшения точности генерации. Модель AGIC включает в себя два основных компонента: 1) **аттенционные модули**, которые выделяют наиболее значимые части изображения; 2) **гибридную стратегию декодирования**, которая объединяет детерминированное и вероятностное семплирование для баланса между гладкостью и разнообразием генерируемых описаний. Для обучения и оценки AGIC мы использовали данные из двух наборов данных: Flickr8k и Flickr30k. Эти наборы содержат тысячи изображений с предоставленными текстовыми описаниями, представляющими различные сцены и объекты. #### Результаты В ходе экспериментов мы сравнили AGIC с несколькими современными моделями, включая Show, Attend and Tell и BUTD. Результаты показали, что AGIC показывает точность источника, совпадает или превосходит ряд современных моделей, при этом достигая более высокой скорости обработки. Мы оценивали AGIC по метрикам BLEU, METEOR, ROUGE-L и CIDEr, и подтвердили его высокую точность и хорошую разнообразие генерируемых описаний. Эти результаты демонстрируют, что AGIC является эффективным и понятным подходом к решению проблемы неточности каптионов. #### Значимость Модель AGIC может быть применена в сферах, требующих точной генерации текстов, таких как видеонаблюдение, системы рекомендаций и видеозахват. Основные преимущества AGIC заключаются в его способности улучшить точность описаний, увеличить скорость обработки и обеспечить прозрачность решения. Это делает AGIC полезным для разработчиков, которые ищут модели с высокой точностью и прозрачностью в области изображения и текста. #### Выводы Мы представили AGIC, модель, которая улучшает точность и соответствие каптионов к изобра

#### Контекст В последние годы повышается интерес к многомодальным большим языковым моделям (MLLMs), которые могут обрабатывать и анализировать многоступенчатый поток данных с различных источников, включая текст, видео и аудио. Одной из ключевых задач в этой области является **long video understanding**, которая представляет собой вызов для MLLMs из-за огромного объема данных и сложности временного порядка. Для упрощения этой задачи, широко применяется метод ключевого кадра (keyframe), который пытается выбрать наиболее основательные кадры видео, отвечающие заданному текстовому запросу. Однако существуют существенные проблемы, такие как недостаточная мультимодальная связность между текстовым запросом и видео, а также недостаточная логическая семантическая интеграция для точного вывода. Эти проблемы наделяют ключевую задачу в поиске ключевых кадров сложностью, которая необходима для точного понимания длительных видео. Мы предлагаем **Visual Subtitle Integration (VSI)**, метод, который интегрирует подкасты, временные метки и сценные границы для повышения эффективности поиска ключевых кадров. #### Метод Метод **VSI** основывается на двух основных потоках поиска: **Video Search Stream** и **Subtitle Match Stream**. **Video Search Stream** использует видеокадры, чтобы найти самые важные кадры в целях понимания видео, в то время как **Subtitle Match Stream** синхронизирует текстовые подкасты с видео, чтобы улучшить соответствие текста и видео. Для каждого слоя поиска, мы используем **cross-modal attention mechanism**, который помогает объединить информацию из разных модальностей (видео и текст), чтобы повысить точность в выделении ключевых кадров. Кроме того, мы используем **boundary alignment**, чтобы добавить контекст сцен в поисковую процедуру. Это позволяет улучшить семантическую интеграцию и повысить точность поиска ключевых кадров. #### Результаты Мы проводим эксперименты на LongVideoBench, популярной базе данных для тестирования эффективности поиска ключевых кадров в длительных видео. Наш **VSI** показывает выдающиеся результаты, достигая **40.00% key frame localization accuracy** на текстовом подмножестве LongVideoBench и **68.48% accuracy** на задачах видео-QA. Это превосходит существующие бейзлайны на **20.35%** и **15.79%**, соответственно. Благодаря двойному поисковому механизму, наш метод демонстрирует высокую точность и общую ценность, особенно в среднем и длинном диапазоне видео. Эти результаты подтверждают то, что VSI является решением, обеспечивающим робастность и универсальность в задаче понимания длительных видео. #### Значимость Наш **VSI** имеет широкое применение в различных областях, таких как мультимедиа-анализ, видео-поиск, мониторинг видеоконтента и легковесное анализ

#### Контекст Инфракрасные малые цели (Infrared Small Targets, IRST) представляют собой ключевые объекты в различных прикладных областях, в том числе в защите и гражданских сферах. Однако их идентификация и сегментация являются задачами высокой сложности. Эти цели часто имеют тусклый, неопределенный вид и находятся в условиях сильной фоновой шумности, что усложняет их распознавание. Несмотря на то, что нейронные сети типа CNN показали себя как эффективные для решения этой задачи, они сконцентрированы на улучшении функций представления. Это приводит к увеличению ложноположительных сигналов. Мотивируясь этим, мы предлагаем новую точку зрения на решение этой проблемы с помощью улучшения чистоты фич благодаря шумоподавлению. #### Метод Мы предлагаем NS-FPN, которая включает в себя два новых модуля: Модуль Упругого Фильтра (LFP, Low-Frequency Purification) и Модуль Распространения Информации (SFS, Spiral-Aware Feature Sampling). Модуль LFP фокусируется на удалении шумовых частот, что позволяет повысить чистоту признаков. Модуль SFS, в свою очередь, применяет спиральную структуру для сбора информации, что помогает фокусироваться на целевых признаках. Эти модули интегрируются с оригинальным FPN, создавая легковесную, но эффективную модель, которая может быть установлена в существующие системы IRSTDS. #### Результаты Мы проводили исследования на нескольких публичных датасетах для обнаружения и сегментации инфракрасных малых целей. Наши результаты показывают, что NS-FPN существенно снижает количество ложноположительных сигналов. Это потенциально может улучшить точность в реальных ситуациях. Кроме того, наши модели работают быстрее и требуют меньше ресурсов, чем предыдущие подходы. #### Значимость NS-FPN может применяться в различных прикладных областях, таких как системы радаров, системы обнаружения вирусов в воздухе, и другие. Одним из основных преимуществ является уменьшение ложноположительных сигналов, что может уменьшить расходы на операции. Мы считаем, что наш подход может сделать IRSTDS более точным и быстрым, снижая фоновую шумность. #### Выводы Мы представили NS-FPN, которая первый раз применяет подход к решению IRSTDS с помощью шумоподавления. Мы продемонстрировали, что наша модель выдает лучшие результаты в сравнении с предыдущими методами, уменьшая ложноположительные сигналы. Мы планируем дальше усовершенствовать нашу модель, в том числе развивать ее для других типов данных и задач.

## Контекст Область исследования посвящена развитию методов компьютерной визуализации и анализа здоровья растений, прежде всего в отношении раннего выявления инфекций и болезней. Это критически важно для повышения урожайности и сокращения экономических потерь. Однако существующие методы диагностики часто страдают от неточности, медлительности и повышенной сложности, что ограничивает их эффективность. Научная литература показывает, что недавние достижения в области ИИ, машинного обучения и глубокого обучения позволили создать более точные и скорострельные системы для раннего выявления заболеваний и вредителей растений. Мотивация заключается в оценке современных глубоких классификаторов для решения этой проблемы. ## Метод Работа основывается на моделировании и экспериментальном исследовании алгоритмов глубокого обучения для распознавания растительных заболеваний и вредителей. Методология включает в себя модификацию существующих архитектур глубоких сетей, визуализацию признаков и их возможность классификации. Архитектуры разделяются на несколько групп: модели гиперспектрального изображения, невизуальные методы, визуальные подходы, модифицированные архитектуры глубоких сетей и модели-трансформеры. Это позволяет проводить четкое сравнение и определять наиболее эффективные модели. ## Результаты Экспериментальный анализ проводился на базе различных данных, включая цветные изображения растений и видеоснимки. Методы представлены в нескольких категориях, и для каждой из них были проведены многочисленные эксперименты. Особого внимания уделено визуальным трансформерам, таким как HvT, которые показали высокую точность до 99.3%. Это существенно превосходит результаты моделей, таких как MobileNetV3. Данные результаты подтверждают преимущества современных AI-технологий в скорости и точности работы по сравнению с предыдущими подходами. ## Значимость Результаты имеют большое значение для развития систем агротехнологий, позволяющих оперативно выявлять инфекции и инфекционные заболевания у растений. Модели могут быть применены в агроэкономических системах для предотвращения экономических потерь и повышения урожайности. Особым преимуществом является высокая точность диагностики за счет использования самых современных технологий, таких как визуальные трансформеры. Это открывает перспективы для использования в агроэкосистемах, где важно минимизировать временные затраты и повысить эффективность. ## Выводы Основным выводом является то, что современные AI-технологии, в частности визуальные трансформеры, позволяют дости

## Контекст Многомедийные большие языковые модели (MLLMs) представляют собой мощные алгоритмы, которые объединяют в себе мощность текстовых и изображений, чтобы решить задачи, такие как визуальное понимание и текстово-визуальное синтезирование. Тем не менее, существующие модели часто сталкиваются с проблемами связи между этими модами, что приводит к неполному или неточному пониманию визуальных данных. Одним из ключевых аспектов этой проблемы является недостаточная взаимосвязь между проектором визуальных данных и текстовым контекстом. Эта связь является критической для того, чтобы обеспечить точность и глубину визуального понимания. Несоответствие в этих модах приводит к ограниченным результатам в таких задачах, как визуально-текстовый поиск, классификация изображений и визуальное понимание объектов. Наша мотивация заключается в создании метода, который сможет улучшить эту связь и усилить визуальное понимание в MLLMs. ## Метод Мы предлагаем метод BASIC (Boosting Visual Alignment with Intrinsic Refined Embeddings), который лучше связывает визуальные данные с текстовыми моделями. Наша идея заключается в том, чтобы использовать внутреннюю рефинед эмбеддинг визуальных данных в качестве дополнительного руководства для проектора. Это делается на двух уровнях: (i) **оптимизация направлений эмбеддингов**, делая их более соответствующими в семантическом пространстве; (ii) **улучшение матчинга семантики**, уменьшая разрывы между распределениями логитов визуальных и текстовых моделей. Этот процесс не требует дополнительных супервизоров или искусственных аннотаций, что делает BASIC эффективным и простым в реализации. Мы используем анализ процесса рефининга визуальных эмбеддингов в глубоких слоях модели, чтобы улучшить их интеграцию с текстовым контекстом в модели. ## Результаты Мы провели эксперименты на различных коллекциях данных, включая COCO и Visual Genome. Были использованы стандартные метрики, такие как Recall@1, mAP и BLEU, для оценки качества визуально-текстового понимания. Результаты показали, что BASIC существенно улучшает визуально-текстовую связь в MLLMs, сопоставимо с лучшими результатами на текущих бенчмарках. Например, на задаче визуально-текстового поиска, мы достигли высоких результатов в Recall@1 и BLEU-4, что демонстрирует эффективность нашего метода в улучшении визуального понимания. Эти результаты указывают на то, что введение дополнительной визуальной супервайзии действительно повышает точность и качество решения задач в области мультимодального понимания. ## Значимость Метод BASIC может быть применен в разли

#### Контекст Толкование и создание китайских шрифтов — это важная задача в области типографии, которая играет ключевую роль в коммуникации, графическом дизайне и дигитальном прогрессе. Несмотря на то, что классические методы дают результаты, существуют сложности в создании высококачественных китайских шрифтов. С ростом глубины исследований в области глубокого обучения, возникла возможность создания новых эффективных методов, которые могут повысить качество генерируемых шрифтов. Однако существуют проблемы, такие как необходимость в более точном анализе и оптимизации глубоких алгоритмов для генерирования китайских символов. В данной работе представлен обзор последних достижений в области генерации китайских шрифтов, основанных на глубоком обучении, с целью обобщить современные подходы и выявить основные проблемы и перспективы. #### Метод Данная работа основывается на широком обзоре современных исследований в области генерации китайских шрифтов с использованием глубокого обучения. Методология включает в себя сбор и анализ статей из научных журналов и конференций, технический анализ методов и архитектур, а также сравнение их результатов. Основные аспекты, рассмотренные в исследовании, включают в себя классические архитектуры глубокого обучения, форматы представления шрифтов, публичные базы данных и критерии оценки качества. Также в работе описываются два типа подходов к генерации шрифтов: методы, требующие большого количества примеров (many-shot) и методы, требующие небольших объемов данных (few-shot). Различия и особенности каждого подхода проанализированы, чтобы обеспечить полное понимание современных тенденций. #### Результаты В работе приведены результаты экспериментов с различными методами генерации китайских шрифтов. Эти методы были протестированы на различных данных и выдали результаты, оцениваемые по разным критериям качества. Были проанализированы фундаментальные архитектуры, такие как GANs, VAEs, и transformer-based approaches. Также были рассмотрены различные датасеты, включая многочисленные варианты символов и их различные представления. Результаты показали, что многие подходы демонстрируют высокое качество генерации, однако существуют проблемы с генерированием шрифтов на небольших объемах данных, что требует дополнительных исследований. #### Значимость Результаты и методы, описанные в данной работе, имеют широкие приложения в типографии, дизайне, графической компьютеризации и даже в области машинного перевода. Они позволяют улучшить качество шрифто

## Контекст Персональная реидентификация (ReID) — это задача нахождения изображений интересующего объекта среди галереи изображений. Она находит широкое применение в областях медицинской реабилитации, обнаружения аномального поведения и обеспечения общественной безопасности. Однако традиционные модели ReID обладают ограниченными возможностями, ограничивающими их универсальность при работе с многомодальными данными, такими как RGB, термальные и инфракрасные изображения, рисунки-скетчы и текстовые описания. Недавно появление многомодальных больших языковых моделей (MLLMs) открыло новые возможности для решения этих проблем. Тем не менее, существующие методы используют MLLMs только как инструменты для вывода признаков или генерации текстовых описаний. Это не полностью использует их потенциал в области рассуждения, подчинения инструкций и кросс-модального понимания. Чтобы преодолеть эти ограничения, мы предлагаем MMReID-Bench — первый многозадачный многомодальный бенчмарк, созданный специально для реидентификации персон. ## Метод MMReID-Bench включает 20 710 многомодальных запросов и изображений-галерей, покрывающих 10 разных задач реидентификации персон. Он охватывает такие модальности, как RGB, термальная и инфракрасная съемка, а также рисунки-скетчы и текстовые описания. Методология базируется на использовании MLLMs в качестве многозадачных моделей, объединяющих в себе возможности рассуждения, подчинения инструкций и кросс-модального понимания. Эти модели обучаются на многомодальных данных, чтобы обеспечить широкий спектр возможностей для решения задач реидентификации. Это позволяет использовать MLLMs в новых сценариях, которые прежде не были достижимы. ## Результаты Эксперименты показывают, что MLLMs способны эффективно выполнять задачи реидентификации в различных модальных условиях. Они показали высокую точность при работе с RGB-изображениями, но имеют более слабый результат при обработке термальных и инфракрасных данных. Это связано с ограниченной способностью MLLMs полностью рассуждать и работать с этими модальностями. Несмотря на это, результаты продемонстрировали значительный потенциал MLLMs в обеспечении универсальных решений для реидентификации персон, которые могут быть применены в различных сценариях. ## Значимость MMReID-Bench открывает новые перспективы для развития многомодальных моделей ReID, которые могут быть использованы в различных приложениях, включая медицинскую реабилитацию, обнаружение аномального поведения и обеспечение общественной безопасности. Он также показывает перспективы для дальнейшего исследования MLLMs в контексте реид

## Контекст Одним из основных направлений развития современных компьютерных технологий является обработка и модификация изображений с помощью текстовых подсказок. Текст-to-image (T2I) модели, основанные на генерирующих признаках фундаментальных моделей, позволяют редактировать изображения, оперируя только текстовыми запросами. Однако существующие системы сталкиваются с проблемами в реализации точных редактирований, сохраняющих контекст исходного изображения и обеспечивающих визуальную непрерывность. Эти ограничения влекут за собой несоответствие требований пользователей, что приводит к нужде в более надежных и эффективных подходах. ## Метод Мы предлагаем CannyEdit, новую систему для текстово-движущегося редактирования изображений, которая работает без необходимости обучения. Основные инновации в CannyEdit: (1) **Selective Canny Control**, который позволяет гибко управлять структурным влиянием генеративных моделей, защищая детали исходных изображений в неизменяемых областях; (2) **Dual-Prompt Guidance**, который включает в себя объединение локальных и глобальных текстовых подсказок для достижения консистентных редактирований с обеспечением отношений в сцене. Это решение использует ControlNet для контроля структуры и инверсии признаков, чтобы обеспечить точность редактирования и сохранить неизменность регионов, не относящихся к редактированию. ## Результаты Для измерения эффективности CannyEdit проведены эксперименты на реальных изображениях с разными редактируемыми сценами: добавлением, заменой и удалением объектов. Метод показал высокую точность в соблюдении текстовых подсказок и сохранении контекста источника, превышая в предыдущих системах, таких как KV-Edit. В результате пользовательских опросов, CannyEdit показал более высокую степень незаметности, чтобы редактирование было выполнено с помощью AI: 49.2% пользователей и 42.0% экспертов AIGC отличили результаты CannyEdit от настоящих изображений, в то время как для KV-Edit этот показатель составил 76.08–89.09%. ## Значимость CannyEdit может быть применен в различных областях, таких как редактирование фотографий, графический дизайн и дизайн визуальных эффектов. Он выделяется своей точностью и гибкостью, превращая текстовые подсказки в точные модификации на изображениях. Более высокий уровень незаметности редактирования и сохранение контекста делают CannyEdit привлекательным для профессионалов, необходимостью в минимальном вмешательстве и простоте в использовании. ## Выводы CannyEdit представляет собой прорыв в области текстово-движущегося редактирования изображений без необходимости обучения. Его высокая точность, гибкость и не

#### Контекст Поиск и предсказание значимых взаимодействий между лекарственными средствами (Drug-Drug Interactions, DDIs) является ключевым заданием в области дизайна и применения лекарственных средств. Несоответствие между лекарственными средствами может привести к непредвиденным побочным эффектам, ухудшению здоровья и даже к смерти. Несмотря на то, что существующие методы показали заметный прогресс в предсказании DDIs, они сталкиваются с ограничениями в представлении функциональных мотивов, которые являются основным фактором возникновения взаимодействий. Тем не менее, данные по мотивам поддерживаются недостаточно, что мешает эффективному анализу и предсказанию. Мы предлагаем ImageDDI, рам prosecing in the field of drug-drug interaction prediction #### Метод ImageDDI представляет собой представление лекарственных средств, основанное на функциональных мотивах и использующее изображения для улучшения представления. Функциональные мотивы для каждого лекарственного средства являются локальными признаками, которые объединяются в единую последовательность для каждой пары лекарственных средств. Далее, изображения лекарственных средств, содержащие глобальные признаки (например, цвет, текстура, плоскость), включаются в последовательность. Эти данные обрабатываются с помощью трансформера, что позволяет учитывать как локальные, так и глобальные признаки. Для динамического подкрепления представления используется адаптивный механизм фуссирования, который позволяет ImageDDI повысить его общую точность и устойчивость. #### Результаты Мы проводили эксперименты на широко известных датасетах, сравнивая результаты с текущими методами. Результаты показали, что ImageDDI показывает высокую точность в предсказании DDIs, оценивая и только локальные, и глобальные признаки. Были проведены эксперименты в 2D и 3D-сценариях, подтвердив высокую совместимость ImageDDI с различными подходами к представлению данных. Эти результаты показали, что ImageDDI превосходит существующие модели в области предсказания DDIs. #### Значимость ImageDDI может быть применено в различных областях, включая дизайн новых лекарственных средств, прогнозирование побочных эффектов и улучшение безопасности и эффективности лечения. Этот подход позволяет улучшить представление данных, объединяя локальные и глобальные признаки, что дает более полное и точное представление взаимодействий. Это может привести к более уверенным предсказаниям и уменьшению рисков при применении лекарственных средств. #### Выводы Результаты показывают, что ImageDDI является эффективным подходом для предсказания DDIs, который может быть использован для улучшения систем прогнозирова