Реализация моделей, основанных на распространенных методах генерирования речи и говорящих голов, возникает проблема с длительным временем вывода, что ограничивает их практическое применение. Мы предлагаем READ (Real-time and Efficient Asynchronous Diffusion) — первый рамфрейм для генерации говорящих голов, основанный на модели распределения, который достигает реального времени. Основная идея заключается в том, чтобы уменьшить количество токенов с помощью временной VAO, а затем использовать предварительно обученный Speech Autoencoder (SpeechAE) для создания кодов видео-информации, соответствующих видео-локальным кодам. Эти коды моделируются с помощью новой сети Audio-to-Video Diffusion Transformer (A2V-DiT) для эффективной генерации. Чтобы обеспечить консистентность и ускорить вывод в расширенной постановке, мы предлагаем асинхронный шейпер шума (ANS). Наши эксперименты показывают, что READ многократно превосходит состояние технологий, обеспечивая высокую скорость, не отказываясь от качества и метрической стабильности на протяжении долгого времени.

Аудио-синхронизированная портретная анимация является важной задачей, связанной с генерацией реалистичных и синхронных видеопортретов, активируемых аудиосигналом. Однако существующие решения сталкиваются с трудностями в реализации действительно реального времени (real-time), возникающими из-за высокой сложности вычислений и недостаточной точности методов моделирования. В статье предлагается RAP (Real-time Audio-driven Portrait animation) — новый подход, который объединяет высокую точность в контроле аудиосигнала и эффективность вычислений. Основные инновации RAP заключаются в использовании гибридной автопереносной механизма для тонкого аудио-управления и в статик-динамической модели, которая устраняет необходимость в прямом моделировании движения, а также позволяет избежать терминального временного расхождения. Результаты экспериментов показали, что RAP достигает нового состояния искусства в реальном времени, сохраняя высокую визуальную фидлитей и синхронность аудио-визуального сигнала. Это делает RAP применимым для реального времени, что открывает новые возможности для приложений, таких как видеоконференц-связь и виртуальная реальность.

Объективная система распознавания лиц на основе глубоких нейронных сетей требует безопасности и достоверности данных. Атаки типа "ловушка" могут подрывать эти системы, внедряя невидимые триггеры в обучающие изображения, что приведет к неправильному распознаванию при аутентификации. Большинство существующих методов защиты против таких атак страдают от неточностей в выявлении зараженных изображений или ухудшении точности распознавания чистых данных. Мы предлагаем новую стратегию TrueBiometric, которая определяет зараженные изображения с помощью механизма опроса, использующего несколько современных языковых-визуальных моделей. Затем, используя целенаправленное добавление шума, эти изображения восстанавливаются без потери качества работы с чистыми данными. Наши эмпирические исследования показали, что TrueBiometric обеспечивает 100% точность в выявлении и исправлении зараженных изображений, демонстрируя превосходство перед альтернативными подходами в области безопасности лицевых систем распознавания.