#### Контекст В многообразии приложений искусственного интеллекта, таких как обнаружение объектов, классификация изображений и сегментация изображений, необходимо обеспечить высокую степень общей робастности моделей. Одним из ключевых забота с повышением робастности является спурические связи, которые возникают когда модель зависит от неустойчивых признаков, которые могут меняться в разных доменах. Несмотря на развитие методов, спурические связи остаются трудностью в многих задачах. Недостаточностью существующих решений является то, что они часто требуют дополнительных аннотаций, таких как групповые или признаки спурических связей, что непрактично в реальном мире. Наша исследовательская группа нацелена на развитие метода, который бы устранил эти ограничения и обеспечил робастность к спурическим связям без дополнительных аннотаций. #### Метод Мы предлагаем метод, который использует семантическую структуру классов на уровне суперклассов для уменьшения зависимости от спурических признаков. Наше решение основывается на градиентно-ориентированной аттенции, которая руководствуется предварительно обученным зрения-языковым моделем. Мы разделяем признаки на два класса: суперклассовые и не суперклассовые. Для этого мы используем семантическую информацию, полученную из предварительно обученной модели зрения-языка. Модель основывается на градиентной оптимизации, чтобы выделить признаки, связанные с суперклассом, и уменьшить влияние непроверенных признаков. Таким образом, наш метод обеспечивает устойчивость к спурическим связям без необходимости дополнительных аннотаций. #### Результаты Мы провели эксперименты на нескольких датасетах, включая CIFAR-10-C, Waterbirds и CelebA. Мы сравнили наш метод с несколькими базовыми моделями, такими как GroupDRO, IRM и DRO. Мы обнаружили, что наш метод значительно превосходит базовые модели по метрикам групповой робастности и общей точности. В частности, наш метод показал существенное улучшение в тестах спурических связей, выполняя лучше на 10-15% по сравнению с базовыми моделями. Мы также провели визуальные эксперименты, чтобы показать, что модель направляется на суперклассы и выбирает признаки, связанные с ними. #### Значимость Наш метод может быть применен в различных задачах, таких как здравоохранение, транспорт, искусственный интеллект в реальном времени. Он предоставляет значительные преимущества по сравнению с другими подходами, такими как уменьшение необходимости в дополнительных аннотациях и повышение устойчивости к спурическим связям в различных доменах. Это может привест

## Контекст Область исследования включает в себя развитие интерактивных технологий видеогенерации, которые могут адаптироваться в реальном времени к пользовательским входным данным. Текущие проблемы в этой области заключаются в отсутствии глубокой интеграции высшего уровня анимации и синтеза видео, а также в неэффективности существующих подходов в обеспечении реального времени и гибкой редактироваемости видео. Мотивацией для разработки Yan явилась необходимость в новом фундаментальном подходе, объединяющем в себе всю интерактивную цепочку генерации видео от моделирования до редактирования. ## Метод Yan представляет собой интегрированную систему, состоящую из трех основных модулей. 1) **AAA-уровневая симуляция** основывается на 3D-VAE с кэшем на основе ключевых слов (KV-cache) и процессом разбиения окна для уменьшения шума. Это позволяет достичь реального времени 1080p/60fps в интерактивных ситуациях. 2) **Многомодальная генерация** использует лесковскую авторегрессию, внедряющую знания об играх в рамки модели различных типов мультимедиа. Это позволяет генерировать видео, которое реагирует на текстовые и визуальные стимулы, а также может быть контролируемо по отдельным кадрам. 3) **Многоуровневое редактирование** разделяет механику интерактивности от визуального отображения, что обеспечивает тонкую редактироваемость видео в реальном времени с помощью текста. ## Результаты Исследования проводились на огромном корпусе данных, включавших видео с различными стилями и механиками. Тестирование показало, что система Yan достигает высокой точности и реального времени при симуляции и генерации видео. Многомодальная генерация продемонстрировала мощь модели в создании продолжений видео, при этом сохраняя стиль и механику кросс-доменных объектов. Также было показано, что многоуровневое редактирование дает пользователю тонкую контрольную силу над содержимым видео. ## Значимость Yan открывает путь к новым возможностям в игровой индустрии, животворной индустрии, создания новых типов кинематографического контента и даже динамических визуальных интерфейсов. Его гибкость и реальность делают его полезным в приложениях, требующих интерактивности и реактивности с пользователем. ## Выводы Yan представляет собой новую модель интерактивной генерации видео, объединяющую высокую реальность, многомодальность и редактирование. Будущие исследования будут фокусироваться на улучшении вычислительной эффективности, расширении данных входа и развитии новых методов редактирова

## Контекст Vision-Language Models (VLMs), способные обрабатывать слои текста и изображений, стали важной частью анализа и визуального распознавания. Несмотря на их великолепные возможности, прирост в размере моделей приводит к высоким затратам на их тренировку и адаптацию. Это вынуждает разработчиков искать эффективные методы для переиспользования существующих моделей. Однако существующие методы трансфера адаптации часто слишком зависимы от конкретной модели, что ограничивает их общую пригодность. Наша мотивация заключается в разработке метода, который не только эффективен в переиспользовании знаний, но и универсален для различных моделей. ## Метод Мы предлагаем **Transferable Model-Agnostic Adapter (TransMiter)** — легковесный адаптер, который не требует обратного распространения (backpropagation). TransMiter захватывает разницу между силами моделей (предварительно обученными и тщательно адаптированными) в нейросетевом пространстве с помощью непосредственного обучения. Это позволяет ему быть переносимым по всему спектру моделей. Благодаря использованию простых слоев, TransMiter добавляет минимальные издержки на инференс. Кроме того, добавление небольшого количества меток может улучшить результаты в некоторых случаях, даже превзойдя преимущества косвенных тренировок модели. ## Результаты Мы проводили эксперименты на нескольких популярных базах данных, включая MS-COCO и Visual Genome. Мы сравнивали TransMiter с другими адаптационными методами, используя модели разных размеров (с малым, средним и большим числом параметров). Наш адаптер показал значительно более высокую выгоду в передаче знаний между моделями, при этом сохраняя высокие результаты в общей обработке визуальных данных. Фактически, на некоторых задачах TransMiter даже превысил модели, тщательно адаптированные с помощью традиционных методов. ## Значимость Мы видим применение TransMiter в сценариях, где модели должны быть эффективными, переносимыми и не требующими дорогостоящих тренировок на многочисленных данных. Например, данный метод применим в робототехнике, медицинском изображении и анализе видео. Одним из преимуществ является значительное сокращение ресурсов, необходимых для обучения, и уменьшение влияния на системы, где память и пропускная способность ограничены. ## Выводы Мы доказали, что TransMiter позволяет эффективно переносить знания между моделями разных размеров и архитектур. Этот подход не только улучшает гибкость адаптации, но и снижает стоимость тренировок. Наша работа открывает путь к будущим исследованиям в области универсальных методов для трансфера визуально-языковых моделей.

## Контекст Multimodal medical image fusion (MMIF) является важной областью исследований в медицинской информатике, нацеленной на объединение изображений разных модальностей для получения подробной и точной информации о органах, тканях и метаболических процессах. Эта технология играет ключевую роль в улучшении результатов диагностики и лечения. Однако сложностью MMIF является трудностью эффективного извлечения уникальных и комплиментарных информационных сигналов из разных модальностей. Недостаточное извлечение такой информации может привести к неточностям в диагностике. Для решения этой проблемы, новые методы, оптимизированные для извлечения такой комплиментарной информации, являются критически важными. ## Метод MMIF-AMIN представляет собой новую архитектуру, основанную на Invertible Dense Network (IDN), которая обеспечивает lossless извлечение фич из отдельных модальностей. Для извлечения комплиментарной информации между модальностями, авторы предлагают Multi-scale Complementary Feature Extraction Module (MCFEM), который включает в себя hybrid attention mechanism, convolutional layers с разными размерами, и Transformers. Этот модуль позволяет эффективно извлекать информацию, которая может быть упущена в простых моделях. Для оптимизации обучения модели, предлагается adaptive loss function, которая является более гибкой и эффективной, чем традиционные manually-designed loss functions. ## Результаты Для оценки эффективности MMIF-AMIN, авторы провели широкий набор экспериментов, используя разные данные, включая CT и MRI изображения. Результаты показали, что MMIF-AMIN превосходит 9 состояний-арты в MMIF, при этом показывая значительные улучшения в качестве изображений и точности диагностики. Эти результаты были подтверждены как в quantitative, так и в qualitative анализах. Отдельные ablation experiments показали, что каждый компонент модели, включая IDN, MCFEM и adaptive loss function, значительно способствуют общему качеству изображений. ## Значимость MMIF-AMIN может быть применена в различных областях медицины, в том числе в диагностике рака, исследованиях нервной системы, и других областях, где важно получить полное и точное представление о здоровье пациента. Одним из ключевых преимуществ является то, что MMIF-AMIN может быть использована для других задач image fusion, показывая промышленную ценность и широкий спектр применений. В будущем, модель может быть расширена для обработки более сложных изображений и многомодальных данных. ## Выводы MMIF-AMIN продемонстрировала превосходство над другими методами в области MMIF, показав возможность эффективно извлекать и объединять уникальные и комплиментарные информационные сигналы из разных модальностей. Основные достижения модели включают innovative architecture и adaptive loss function, которые значительно повышают точность

################################# ## Контекст ################################# На сегодняшний день, vision-language models (VLMs) стали важной частью искусственного интеллекта, позволяющими обрабатывать и анализировать multimodal data. Однако они часто сталкиваются с проблемами при обработке сложных задач, включающих в себя несколько видов данных. Эти модели часто генерируют длинные и менее эффективные ответы, что снижает их эффективность. Также, VLMs часто ограничиваются chain-of-thought (CoT) рассуждением, несмотря на то, что такие задачи могут выгоднее быть решены с использованием других структур, таких как tree или graph-based topologies. Эти ограничения могут приводить к неэффективности и неточности во время выполнения задач. STELAR-Vision, новая модель, предлагает решение для этих проблем за счет внедрения topology-aware reasoning, которое расширяет возможности VLMs и делает их более эффективными в работе с complex multimodal tasks. ################################# ## Метод ################################# STELAR-Vision представляет собой новую систему с поддержкой topology-aware reasoning, которая включает в себя две основные компоненты. Во-первых, TopoAug, синтетическая датасет-пипелайн, которая добавляет разнообразные топологические структуры в процесс обучения. Во-вторых, методы пост-обучения, включая supervised fine-tuning и reinforcement learning, которые улучшают точность и эффективность Qwen2VL-модели. Более того, модель также включает Frugal Learning, стратегию, которая уменьшает длину выходных данных, сохраняя высокую точность. Эти компоненты совместно стремятся к более точному и эффективному рассуждению в multimodal tasks. ################################# ## Результаты ################################# На MATH-V и VLM-S2H, STELAR-Vision показывает увеличение точности на 9.7% по сравнению с базовой моделью. Она также выступает лучше Qwen2VL-72B-Instruct на 7.3%. На пяти OOD-benchmarks, STELAR-Vision показывает сразу значительный выигрыш, превышая Phi-4-Multimodal-Instruct на 28.4% и LLaMA-3.2-11B-Vision-Instruct на 13.2%. Эти результаты показывают, что STELAR-Vision не только улучшает точность на in-distribution datasets, но и демонстрирует сильную generalization на out-of-distribution tasks. Особенно стоит отметить, что в сравнении с Chain-Only training, STELAR-Vision показывает 4.3% выигрыша в общей точности, что демонстрирует ее преимущество в обеспечении более эффективного и точного рассуждения. ################################# ## Значимость ################################# STELAR-Vision может быть применена в различных областях, включая computer vision, natural language processing и multimodal reasoning. Она предлагает значительные преимущества, такие как улучшенная точность, эффективность и generalization на разных datasets. Также, возможность использовать разные топологии в рассуждении делает модель более гибкой и удобной для различных задач. Эти достижения могут вести к повышению эффективности во время обработки multimodal data в различных приложениях, таких как image captioning, visual question answering и multimodal search. ################################# ## Выводы ################################

#### Контекст Deep learning модели для визуального распознавания часто содержат систематические ошибки из-за недостаточного представления семантических подпулов данных. Эти ошибки могут быть выявлены с помощью существующих фреймворков для отладки, которые позволяют определить ключевые недостатки. Однако их эффективное исправление остается значительной проблемой. Традиционные решения часто основываются на ручном создании провоцирующих запросов для генерации синтетических изображений, что приводит к риску сдвига распределения и нарушению семантики. Для решения этих проблем мы предлагаем SafeFix, модуль для исправления моделей, который использует интерпретируемую аттрибуцию недостатков для генерации уточненных изображений. Мы используем тексто-к пикс-модель, которая генерирует семантически достоверные изображения, а виджон-лангуаж модель (LVLM) выполняет фильтрацию, обеспечивая качество и соответствие оригинальному распределению. #### Метод SafeFix основывается на интерпретируемом подходе к аттрибуции недостатков. Мы использвали текстовый генератор, адаптированный для работы в контексте визуального распознавания. Весь процесс генерирования изображений регулируется LVLM, который обеспечивает высокое качество и соответствие распределению. Мы адаптировали модель для сгенерированных изображений, чтобы улучшить результаты на сложных сценариях. Этот подход позволил нам генерировать семантически достоверные изображения, которые адекватно отражают ключевые недостатки. Данные генерируются в зависимости от спецификации ошибки, что допускает целенаправленный ремонт. #### Результаты Мы проверили SafeFix на нескольких задачах визуального распознавания. Наши эксперименты показали, что модель успешно исправляет систематические ошибки, связанные с недостатком представления семантических подпулов. Мы сравнили результаты с традиционными методами и показали, что SafeFix не только улучшил точность, но и уменьшил частоту новых ошибок. Наш алгоритм позволил достичь повышения производительности на 15% в сравнении с базовой моделью. Данные эксперименты были проведены на различных датасетах, включая CIFAR-10 и ImageNet. #### Значимость SafeFix открывает новые возможности для эффективного исправления моделей визуального распознавания. Он может быть применен в различных областях, включая медицину, системы безопасности и автоматизированные системы. Мы видим потенциал в расширении SafeFix на другие типы моделей и задач. Этот подход позволяет улучшить надежность моделей, сократить число ошибок и внести вклад в безопасность использования AI. #### Выводы Мы представили SafeFix, модуль для

## Контекст В последние годы рост применения глубокого обучения привел к появлению новых форм синтезированного видео, таких как глубокие подделки (deepfakes). Эти технологии находят применение в различных сферах, от развлечений до мошенничества. Особенно актуальной стала проблема глубоких подделок на социальных сетях, где пользователи подвергаются угрозе дезинформации и мошенничества. Существующие методы обнаружения глубоких подделок часто разрабатываются и тестируются в управляемых условиях, но не могут надёжно работать в реальных условиях, где видео подвергаются агрессивной сжатию и преобразованиям. Это сделано для экономии ресурсов и повышения скорости раздачи контента. Мы предлагаем первый подход, который эмулирует социальные сети, используя компрессию и перераспределение параметров, полученных из небольшого набора видео, чтобы создать локальный эмулятор для видео-соцсетей. ## Метод Мы предлагаем фреймворк, который эмулирует процессы компрессии видео на социальных платформах, основываясь на маленьких наборах видео, загруженных на данные платформы. Для этого мы используем алгоритм, оценивающий параметры компрессии и размещения из загруженных данных. Эти параметры используются для создания локального эмулятора, который может воспроизвести специфические артефакты, внедренные в видео, после сжатия и перераспределения. Это достигается без необходимости применения API социальных сетей, что делает наше решение эффективным и практичным. ## Результаты Мы проводили эксперименты с видео, загруженными на FaceForensics++, которые после этого были распространены через социальные сети. Наши эмуляционные данные были сравнены с реальными данными, и мы установили, что они имеют похожие характеристики и артефакты. Мы также сравнили работу различных сетей глубокого обучения, которые были тренированы на этих эмулированных данных и реальных данных. Результаты показали, что детекторы, обученные на наших эмулированных данных, смогли достичь почти той же точности, что и детекторы, обученные на реальных данных. Это подтверждает эффективность нашего подхода. ## Значимость Наш фреймворк может иметь большое значение в области обнаружения глубоких подделок, так как он предлагает решение для ситуации, когда существующие методы работают ненадежно на сжатых видео, которые распространяются через социальные сети. Это позволяет увеличить эффективность и надежность детекторов глубоких подделок, сделав их более пригодными для использования в реальных условиях. Мы также открываем путь для дальнейших исследований в области эмуляции социальных сетей для

## Контекст Современные искусственные интеллекты (AI) adquires все более значительную роль в области взаимодействия между людьми и машинами. Одним из ключевых аспектов этого взаимодействия является возможность AI распознавать и реагировать на эмоции человека. Несмотря на развитие AI в этой сфере, неясно, могут ли такие системы достичь или превзойти уровень эмоционального распознавания, который обладают люди, особенно эксперты в этой области. Это особенно актуально для multimodal large language models (MLLMs), которые обладают многомодальностью в обработке информации. В настоящем исследовании проводится сравнение эмоционального распознавания MLLMs с результатами человеческих участников, основываясь на таких тестах, как Reading the Mind in the Eyes Test (RMET) и его многонациональная версия (MRMET). ## Метод Для оценки эмоционального распознавания MLLMs были использованы две версии теста Reading the Mind in the Eyes Test (RMET): оригинальная и многонациональная. Эти тесты предназначены для определения возможности распознавать эмоции, основываясь на изображениях глаз людей. Многонациональная версия (MRMET) включает изображения людей разных рас, чтобы учесть различия в реакциях на эмоции в разных культурах. Для обеспечения сравнения AI с человеческими участниками, результаты MLLMs были сравнены с результатами отдельных людей, а также с результатами коллективного распознавания, когда решения нескольких людей объединялись в одно. ## Результаты Исследование показало, что MLLMs превосходят человеческих участников в эмоциональном распознавании в обоих тестах RMET и MRMET. В среднем, MLLMs показали более высокую точность в распознавании эмоций по отношению к отдельным людям. Этот тренд сохранялся во всех группах по уровню производительности, включая низкие, средние и экспертные. Однако, когда решения отдельных людей объединялись в коллективные решения, группы человеческих участников показали значительно более высокую точность, чем работа в MLLMs. Тем не менее, когда MLLMs и человеческие решения объединялись в коллективную стратегию, это приводило к еще большей точности, чем работа MLLMs или человеческих участников отдельно. ## Значимость Результаты этих исследований имеют важное значение для развития эмоционально умных AI-систем. Они показывают, что MLLMs могут использоваться для эффективного распознавания эмоций на индивидуальном уровне, но, при этом, коллективная мудрость человеческих групп превосходит их. Это открытие подтверждает потенциал augmented intelligence — систем, в которых объединяются возможности AI и людей для повышения точности. Такие решения могут быть применены в различных областях, включая психологию, обра

## Контекст Ультразвуковое исследование (US) становится все более популярным при проведении процедур при позвоночнике, благодаря его реальному времени отображению и отсутствию излучений. Однако, его эффективность существенно ограничивается феноменом затемнения (shadowing artifacts), который затрудняет видимость глубинных тканей. Традиционные методы, такие как регистрация CT-to-US, используют анатомическую информацию из предварительных CT-сканов для улучшения визуализации, но они страдают от сложности регистрации, различий в кривизне позвоночника и необходимости иметь актуальные CT-сканы. Недавние методы комплексного описания формы могут предложить альтернативу, восстанавливая анатомические структуры в данных US, при этом используя предварительно обученные модели на огромных объемах публичных данных CT. Несмотря на это, эти подходы типично являются оффлайнными и имеют ограниченную воспроизводимость. Мы предлагаем новую, интегрированную систему, объединяющую роботизированный ультразвук и реальное время комплексного описания, для повышения визуализации позвоночника в ультразвуковых процедурах. ## Метод Наша система автоматически выполняет ультразвуковые сканы нижнего позвоночника с помощью роботизированного ультразвукового сканера, извлекает поверхности позвоночника из ультразвука и восстанавливает полную анатомию с помощью глубокого нейронного сетевого сетевого метода комплексного описания. Мы разрабатываем алгоритмы для точного восстановления анатомических структур и интегрируем их с роботизированной платформой для реального времени. Метод протестирован на макете и на данных волонтера, используя качественные и количественные подходы для оценки точности восстановления и визуализации. ## Результаты Мы проверяем нашу систему на макете и волонтерских данных. На макете, наши эксперименты показывают, что модель демонстрирует высокую точность восстановления глубинных анатомических структур, а также производит реальному времени визуализацию. На данных волонтера, система продемонстрировала возможность автоматического повторения сканов и интерактивной визуализации, что помогает повысить точность и понимание анатомии. Результаты показывают, что наш подход может сделать процедуры более последовательными и надежными. ## Значимость Наш подход может быть применен в различных областях медицины, включая хирургию позвоночника и другие сложные процедуры, где визуализация ключева. Он предоставляет преимущества, такие как улучшение точности, последовательности и понимания анатомии. Будущие исследования будут фоку

#### Контекст Область исследования связана с распознаванием г DEEPFAKES, технологий, которые автоматически генерируют лица, выглядящие как настоящие. Эти технологии имеют широкое применение в разных сферах, но также представляют угрозу для безопасности информации и честности коммуникации. Известно, что существующие методы распознавания DEEPFAKES требуют большого количества точечного меток (labeled), для обучения моделей. Однако, на сегодняшний день, генерируемые с помощью ИИ лица становятся все более реалистичными, и даже человеком процесс различения между генерируемыми и настоящими лицами становится сложнее. Это приводит к увеличению времени и сложности процесса меток, а также к ухудшению точности распознавания. Кроме того, требуется развитие подходов, которые могут эффективно использовать большие массивы непомеченных данных, таких как лица, полученные из социальных сетей. Эти данные обычно имеют динамические качества и трудно классифицировать стандартными методами, обученными на меточных данных. В данном исследовании рассматривается задача распознавания главных особенностей г DEEPFAKES, применяя алгоритмы, которые могут эффективно работать с непомеченными данными. #### Метод Основной метод, предлагаемый в работе, называется Dual-Path Guidance Network (DPGNet). Он представляет собой совместное использование двух путей информации: текстового и визуального. Данный подход оптимизируется для решения двух ключевых проблем: (1) уменьшения различий между генерируемыми лицами различных моделей, и (2) использования непомеченных данных для обучения. - **Text-guided Cross-domain Alignment**: Этот модуль позволяет связать визуальные и текстовые признаки, используя универсальность текста для объединения разных доменов (генерируемые и настоящие лица). Используя "learnable prompts" (обучаемые подсказки), DPGNet способен привести визуальные и текстовые данные к общему, независимому от домена, функциональному пространству. - **Curriculum-driven Pseudo Label Generation**: Данный модуль раскрывает потенциал непомеченных данных, постепенно расширяя обучающую выборку с помощью динамической генерации псевдо-меток. Это позволяет модели учитывать более качественные семплы из непомеченных данных. - **Cross-domain Knowledge Distillation**: Чтобы обойти проблему "catastrophic forgetting" (забывание достигнутых навыков при изменении обучающих наборов), DPGNet использует методы кросс-доменного знания, чтобы лучше связать взаимосвязанные компоненты из разных доменов. #### Результаты В ходе экспериментов DPGNet был проверен на 11 популярных датасетах, где показал высокую точность в распознавании г DEEPFAKES. Метод демонстрирует зна