## КОНТЕКСТ И ПРОБЛЕМАТИКА Современное глубокое обучение опирается на предварительно обученные веса (pre-trained weights) как на фундаментальный инструмент переноса знаний, особенно в условиях дефицита данных для конкретных задач. Однако существует фундаментальное ограничение: качество предобученных весов напрямую зависит от объема и разнообразия исходного датасета. Традиционные подходы к улучшению предобученных моделей фокусируются на увеличении размеров архитектур или сборе больших массивов данных, что требует значительных вычислительных ресурсов и времени. Авторы статьи поднимают принципиально новый вопрос: возможно ли синтезировать "знания", превосходящие те, что содержатся в исходном датасете, без фактического увеличения объема обучающих данных? Эта проблема особенно актуальна в контексте ограниченных ресурсов и необходимости эффективного использования уже имеющихся моделей. Исследователи обращают внимание на феномен "структурированного забывания" (structured forgetting) - процесса, при котором модель последовательно теряет информацию при обучении на уменьшенных датасетах. Ключевое наблюдение заключается в том, что этот процесс забывания имеет определенную структуру и предсказуемость, что открывает возможность его инверсии для восстановления "утраченных" знаний. Это представляет собой парадигмальный сдвиг в понимании роли забывания в обучении нейронных сетей - вместо рассмотрения его как негативного явления, авторы предлагают использовать забывание как механизм извлечения дополнительных знаний. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы представляют революционный подход KNowledge Overflowed Weights (KNOW) prediction, который использует мета-обучение для предсказания улучшенных предобученных весов. Методология строится на нескольких ключевых компонентах. Во-первых, создается контролируемый процесс забывания через последовательное дообучение (fine-tuning) модели на прогрессивно уменьшенных подмножествах исходного датасета. Это генерирует набор весовых переходов, которые формируют обучающую выборку для мета-модели. Центральным элементом подхода является KNowledge Overflowed Weights Nowcaster (KNOWN) - гипермодель, которая изучает общие закономерности эволюции весов во время процесса забывания. KNOWN использует архитектуру трансформера для моделирования сложных нелинейных зависимостей между весами на различных этапах забывания. Модель обучается предсказывать финальные веса, которые будут соответствовать состоянию, как если бы модель была обучена на большем датасете, чем доступный. Ключевым техническим решением является использование обратного процесса (retrodiction) - инверсии процесса забывания для генерации "переполненных знаний" весов. Это достигается через оптимизацию мета-функции потерь, которая минимизирует разницу между предсказанными весами и оптимальными весами, полученными через идеальный процесс обучения на расширенном датасете. Метод также включает механизмы регуляризации для предотвращения переобучения и обеспечения устойчивости предсказаний. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Экспериментальная часть исследования охватывает широкий спектр архитектур и датасетов для демонстрации универсальности предложенного подхода. Исследователи использовали ResNet-50, Vision Transformer (ViT-B/16) и BERT-base модели на датасетах ImageNet, CIFAR-100, CIFAR-10 и GLUE. Для создания процесса забывания использовались различные стратегии сэмплирования, включая случайное удаление классов и пропорциональное уменьшение данных каждого класса. Результаты показывают последовательное превосходство KNOW prediction над наивным дообучением и простыми методами предсказания весов. На ImageNet с ResNet-50 метод показал улучшение точности на 3.2% по сравнению с базовым дообучением при использовании только 50% исходных данных. Для ViT на CIFAR-100 улучшение составило 5.7% точности. Особенно впечатляющие результаты получены в режиме крайне ограниченных данных (1-5% от исходного датасета), где KNOW показал до 12% улучшения. Анализ обобщающей способности показал, что предсказанные веса демонстрируют лучшую трансферную эффективность на смежных задачах. Н

## КОНТЕКСТ И ПРОБЛЕМАТИКА Задача автоматической раскраски изображений представляет собой один из наиболее интригующих вызовов в области компьютерного зрения, находящий применение в восстановлении старых фотографий, создании анимации, улучшении медицинской визуализации и кинематографии. Процесс заключается в добавлении реалистичных цветов к черно-белым изображениям, при этом две трети информации о цвете (составляющие U и V в пространстве YUV) безвозвратно утрачены. Это создает принципиальную неоднозначность задачи, поскольку один и тот же объект может иметь множество правдоподобных цветовых вариаций - например, автомобиль может быть красным, синим или зеленым без нарушения реальности. Традиционные подходы воспринимали раскраску как задачу регрессии, где модель предсказывает точные значения цветов. Однако такое формулирование игнорирует мультимодальную природу цветового восприятия - один объект может иметь множество допустимых цветовых решений. Более того, регрессионные методы стремятся к усреднению возможных вариантов, что приводит к тусклым, ненасыщенным результатам. Современные исследования показывают, что семантика сцены и текстурные особенности могут служить мощными подсказками для определения цветов: небо обычно голубое, трава зеленая, а облака белые. Доступность больших массивов обучающих данных (любое цветное изображение может быть использовано для обучения путем его обесцвечивания) создает уникальные возможности для обучения статистических приоров. Авторы работы предлагают переосмыслить задачу раскраски не как регрессию, а как задачу классификации с использованием состязательного обучения, что позволяет учесть мультимодальность цветового пространства и генерировать более реалистичные результаты. ## ПРЕДЛОЖЕННЫЙ МЕТОД Предложенный метод представляет собой гибридную архитектуру, объединяющую сверточные нейронные сети (CNN) и генеративно-состязательные сети (GAN) для решения задачи автоматической раскраски. В основе подхода лежит переход от регрессии к классификации цветового пространства с дискретизацией цветов в 313 бина в пространстве CIE Lab, что позволяет формализовать задачу как многоклассовую классификацию. Генератор представляет собой энкодер-декодер архитектуру на основе CNN, где энкодер использует предобученную сеть ResNet для извлечения высокоуровневых признаков из черно-белого изображения. Декодер представляет собой последовательность транспонированных сверток с пропусками (skip connections) для восстановления пространственного разрешения. Особенностью является использование dilated convolutions для увеличения рецептивного поля без потери разрешения, что критично для захвата глобального контекста изображения. Дискриминатор реализован как PatchGAN - сеть, классифицирующая реальность отдельных патчей изображения размером 70x70 пикселей вместо всего изображения целиком. Это позволяет модели сосредоточиться на локальных текстурах и деталях, что особенно важно для раскраски. Для стабилизации обучения используется WGAN-GP loss с градиентной пенализацией. Ключевой инновацией является внедрение механизма внимания на уровне признаков, который позволяет модели динамически приоритизировать различные части изображения при генерации цветов. Дополнительно используется perceptual loss на основе признаков предобученной сети VGG для сохранения перцептуального сходства между раскрашенным и реальным изображениями. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Эксперименты проводились на нескольких датасетах различной природы: ImageNet (1.2 миллиона изображений), COCO-stuff (164 тысячи изображений с детальной сегментацией) и специально подготовленном наборе анимационных кадров. Для обучения использовались 90% данных, оставшиеся 10% - для валидации и тестирования. Все изображения были предварительно обработаны: изменены до разрешения 256x256 пикселей, нормализованы и преобразованы в пространство CIE Lab для разделения яркости и цветовой информации. Основными метриками качества служили Fréchet Inception Distance (FID) для оценки реалистичности результатов, Peak Signal-to-Noise Ratio (PSNR) для измерения точности восстановления, а также усредненная пользовательская оценка через A/B тестирование с участием 100 добровольцев. Предложенный метод достиг F

## КОНТЕКСТ И ПРОБЛЕМАТИКА Персонализированная секвенциальная рекомендация является ключевым направлением при построении систем рекомендаций, целью которых является предсказание подходящих предметов для пользователей на основе их поведенческих последовательностей. Однако, существующие методы сталкиваются с проблемами, такими как разреженность данных и смещение интересов пользователей. Чтобы уменьшить эти недостатки, многие подходы используют вспомогательные данные из других доменов через переходы между доменами. В настоящее время, существующие методы кросс-доменной секвенциальной рекомендации (Cross-Domain Sequential Recommendation, CDSR) часто следуют парадигме "align-then-fusion" (выравнивание, затем слияние). Этот подход включает выравнивание представлений из разных доменов на уровне представлений, а затем механическое объединение их для формирования рекомендаций. Однако, такой подход игнорирует тонкую интеграцию доменно-специфических предпочтений, что может привести к недостаточной связности между доменами и неэффективному использованию вспомогательных данных. Недавние достижения в области диффузионных моделей (Diffusion Models, DMs) для выравнивания распределений показали возможность улучшения стабильности и точности моделей. Однако, в существующих рекомендательных системах, основанных на диффузионных моделях, существует проблема нестабильности, вызванная шумом, внедряемым в процессе диффузии. Это может привести к неточному моделированию предпочтений пользователей. Таким образом, необходимо разработать более эффективный метод для выравнивания и слияния предпочтений из разных доменов, который учитывает тонкие особенности каждого домена и уменьшает влияние шума. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной работе предлагается новый фреймворк для CDSR, называемый **HorizonRec**, который использует диффузионные модели для выравнивания и слияния предпочтений из трех доменов. Основной идеей является "align-for-fusion" (выравнивание для слияния), которая направлена на тонкую гармонизацию предпочтений пользователей из разных доменов. Для решения проблемы нестабильности, связанной с шумом в диффузионных моделях, авторы предлагают использовать стратегию **mixed-conditioned distribution retrieval** (смешанное извлечение условных распределений). Эта стратегия использует распределения, полученные из поведенческой логики пользователей, как семантические мосты между доменами. Это позволяет создать более согласованную модель предпочтений в многодоменном контексте. Кроме того, предлагается **dual-oriented preference diffusion method** (двунаправленный метод диффузии предпочтений), который позволяет подавлять шум и подчеркивать предпочтения, относящиеся к целевому домену, в процессе слияния представлений пользователей. Этот метод помогает усилить важность целевых интересов и снизить нежелательное влияние несвязанных или неточных данных. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного метода проведены эксперименты на четырех наборах данных CDSR, полученных с двух разных платформ. Эти наборы данных представляют собой реальные поведенческие последовательности пользователей, позволяющие провести комплексный анализ работы HorizonRec. Результаты экспериментов показывают, что HorizonRec значительно превосходит существующие методы CDSR в трех ключевых аспектах: 1. **Точность рекомендаций**: Модель достигает высокого уровня точности предсказания пользовательских предпочтений, особенно при работе с тремя доменами. 2. **Робастность**: Метод показывает стабильное поведение даже при наличии шума и неполных данных, что является важной характеристикой для реального применения. 3. **Сходимость доменно-специфических предпочтений**: Благодаря использованию стратегии mixed-conditioned distribution retrieval и двунаправленного метода диффузии, модель эффективно гармонизирует предпочтения из разных доменов, сохраняя их тонкую специфику. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод HorizonRec имеет широкое применение в области персонализированных рекомендаций, особенно в ситуациях, когда необходимо использовать данные из нескольких доменов для улучшения качества рекомендаций. Он может быть использован в различных приложениях, таких как: - **E-commerce**: Улучшение рекомендаций товаров для пользователей на основе их поведения в различных категориях. - **Онлайн-медиа**: Личностное предлагаемое контента (например, видео, музыки) на основе поведения пользователей в разных сферах. - **Туризм и гостиничный бизнес**: Рекомендации мест посещения или услуг на основе предпочтений пользователей в разных сферах (например, культура, развлечения, питание). Преимуществом данного метода является его способность обрабатывать несколько доменов одновременно, сохраняя тонкую специфику каждого домена, что делает его применимым в различных контекстах рекомендаций. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе представлен фреймворк HorizonRec, который решает проблему неэффективного выравнивания и слияния предпочтений в кросс-доменной секвенциальной рекомендации. Используя диффузионные модели и стратегию mixed-conditioned distribution retrieval, HorizonRec достигает высокой точности и робастности в моделировании предпочтений пользователей в многодоменном контексте. Будущие исследования могут быть направлены на дальнейшее улучшение стабильности диффузионных моделей и расширение метода на более широкий класс задач, включая мультимодальные рекомендации и кросс-доменные задачи вне рекомендательных систем. Также, можно исследовать влияние различных типов шума на процесс диффузии и разработать более эффективные стратегии для уменьшения влияния шума на качество рекомендаций.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Parameter-Efficient Fine-Tuning (PEFT) является ключевым подходом для адаптации Large Language Models (LLMs) к новым задачам, особенно в условиях ограниченных вычислительных ресурсов. В настоящее время LLMs часто используются в многозадачных сценариях (Multi-Task Learning, MTL), требующих эффективной адаптации к различным доменам и задачам. Традиционный подход в MTL заключается в использовании многоадаптерных или многоголовных архитектур, таких как LoRA, которые предполагают структурную разнообразность для захвата уникальных особенностей каждой задачи. Однако этот подход сталкивается с проблемами, связанными с сложностью моделей, переобучением и снижением эффективности при одновременном обучении на нескольких задачах. Исследование Align, Don't Divide: Revisiting the LoRA Architecture in Multi-Task Learning выдвигает критический взгляд на существующие парадигмы MTL. Авторы поднимают вопрос о том, насколько эффективны сложные многокомпонентные архитектуры при адаптации LLMs. Они показывают, что существующие подходы, основанные на многоадаптерных системах, могут быть не оптимальными. Вместо этого, исследование показывает, что упрощенные модели с высокой интер-головной схожестью (inter-head similarity) могут достичь более высокой эффективности. Это приводит к новой гипотезе: ключевым фактором успешной адаптации LLMs в MTL является обучение устойчивых общих представлений, а не изоляция задач-специфичных функций. ## ПРЕДЛОЖЕННЫЙ МЕТОД Чтобы проверить эту гипотезу, авторы предлагают Align-LoRA, модификацию архитектуры LoRA, которая включает явное выравнивание (alignment) представлений задач в общем пространстве адаптера. В отличие от сложных многоадаптерных систем, Align-LoRA использует упрощенную структуру с единственным адаптером, но с более высоким рангом. Это позволяет модели фокусироваться на обучении общих представлений, сохраняя при этом возможность эффективной адаптации к нескольким задачам. Ключевой инновацией Align-LoRA является введение дополнительного лосса (loss), направленного на выравнивание представлений различных задач в общем пространстве. Это позволяет модели избегать чрезмерной специфичности для каждой задачи и поощряет формирование более универсальных и робастных представлений. Архитектура Align-LoRA проста в реализации и может быть легко интегрирована в существующие модели LoRA. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели комплексный набор экспериментов для оценки эффективности Align-LoRA. Исследование включало в себя моделирование на различных наборах данных, представляющих различные домены и задачи. Результаты показали, что Align-LoRA значительно превосходит базовые модели, основанные на многоадаптерных системах, в терминах точности и общей эффективности. Кроме того, эксперименты показали, что увеличение ранга адаптера в стандартной LoRA также может привести к значительному улучшению результатов, что подтверждает гипотезу о важности обучения общих представлений. Авторы также продемонстрировали, что их подход эффективен даже при ограниченных вычислительных ресурсах, что делает его практичным для реального применения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Align-LoRA может быть применен в различных областях, где необходима эффективная адаптация LLMs к множеству задач. Этот подход особенно важен в сферах, требующих высокой точности и быстрой адаптации, таких как здравоохранение, финансы и коммерческие приложения. Упрощенная архитектура также делает Align-LoRA доступным для организаций с ограниченными вычислительными мощностями. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Align-LoRA представляет собой важное достижение в области PEFT и MTL, показывая, что упрощенные модели с высоким рангом и выравниванием представлений могут быть более эффективными, чем сложные многокомпонентные системы. Будущие исследования могут фокусироваться на дальнейшем улучшении эффективности и масштабируемости этого подхода, а также на его применении в более широком диапазоне задач и доменов.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Преодоление сложностей навигации в веб-среде является ключевым тестом для искусственного общего интеллекта (Artificial General Intelligence, AGI). Окружения веб-навигации отличаются высокой энтропией, динамичностью и экспоненциально быстрым ростом возможных действий, что делает их крайне сложными для автономных агентов. Существующие подходы в этой области разделяются на две категории: офлайн обучение подразумевает имитацию поведения на основе предварительно собранных данных, тогда как онлайн-исследования фокусируются на динамическом поиске решений в реальном времени. Однако ни один из этих подходов не успешно интегрирует оба парадигмы, что является ключевым ограничением для создания эффективных веб-агентов. Эта проблема вдохновила исследование, основанное на двойной системе когнитивных процессов, известной как двойная система человеческого мышления. Эта теория подразумевает существование двух типов когнитивных процессов: быстрый, интуитивный «Система 1» и медленный, рациональный «Система 2». Такой подход может помочь в создании агентов, способных адаptive переключения между интуитивными реактивными реагированиями и рациональными, плановыми действиями в зависимости от сложности задачи. Это открывает путь к более эффективной и адаптивной навигации в веб-средах, но до сих пор не было предпринято попыток реализовать эту идею в практическом агентском фреймворке. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этой проблемы авторы предлагают фреймворк CogniWeb, основанный на принципах двойной системы когнитивных процессов. Этот фреймворк состоит из двух основных компонентов: System 1, отвечающий за быстрое, интуитивное реагирование на внешние стимулы, и System 2, который выполняет более глубокий анализ и планирование. Архитектура CogniWeb построена таким образом, чтобы эти два компонента могли работать вместе, адаптируясь к сложности задачи. System 1 основан на моделях обучения с имитацией, которые позволяют агенту быстро реагировать на распространенные ситуации. Этот компонент использует предварительно обученные модели для выполнения простых задач без необходимости глубокого анализа. С другой стороны, System 2 использует более сложные модели, такие как модели планирования и принятия решений, которые позволяют агенту анализировать ситуацию более тщательно и выбирать оптимальный путь действий в более сложных ситуациях. CogniWeb также включает в себя механизм адаптивного переключения между System 1 и System 2. Этот механизм основан на оценке сложности задачи и выборе наиболее подходящего подхода. Например, если задача относительно простая, агент может использовать System 1 для быстрого решения. Если же задача требует более сложного анализа, агент переключается на System 2 для более глубокого рассмотрения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности CogniWeb авторы провели серию экспериментов на платформе WebArena, которая представляет собой симулятор веб-навигации с высокой сложностью и динамическими условиями. В эксперименте были использованы различные сценарии навигации, включая простые и сложные задачи. Результаты показали, что CogniWeb достиг 43,96% успешности в выполнении задач, что является конкурентноспособным результатом по сравнению с другими методами. Однако основным достижением было значительное сокращение использования токенов (то есть ресурсов, необходимых для обработки данных) на 75% по сравнению с другими подходами. Это говорит о более эффективном использовании ресурсов и потенциальной экономии вычислительной мощности. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ CogniWeb имеет широкое применение в области автономных веб-агентов. Его способность эффективно переключаться между интуитивным и рациональным мышлением делает его подходящим для решения задач с различным уровнем сложности. Это может быть использовано в различных приложениях, таких как поисковые системы, рекомендательные системы и автоматизированные сервисы навигации. Преимущества этого подхода заключаются в более эффективном использовании ресурсов, снижении времени выполнения и повышении точности принятия решений. Это может привести к значительному улучшению производительности веб-агентов и повышению их пригодности для реального мира. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В результате исследования было показано, что фреймворк CogniWeb предлагает эффективный способ решения проблем навигации в веб-средах, используя принципы двойной системы когнитивных процессов. Этот подход не только показал высокую эффективность в решении задач, но также открыл новые возможности для дальнейших исследований в области AGI. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры CogniWeb, включая оптимизацию механизма переключения между System 1 и System 2, а также расширение его применимости к более широкому кругу задач. Также важно исследовать возможности интеграции этого подхода с другими методами AGI для создания еще более мощных и адаптивных систем.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Медицинские мультимодальные большие языковые модели (MLLMs) представляют собой передовое достижение в области искусственного интеллекта, которое позволяет эффективно объединить восприятие визуальной и текстовой информации. Эти модели имеют большое значение для медицинских приложений, в том числе для визуального вопросов-ответов, диагностики и поддержки принятия решений. Однако медицинская наука непрерывно развивается, и медицинские знания постоянно обновляются. Это поставляет серьезную проблему для MLLMs, которые должны быть способны эффективно обновлять свои знания без необходимости полной переобучения модели с нуля. Традиционно, в области искусственного интеллекта широко изучается проблема обновления текстовых знаний в моделях. Однако в медицинской области, где знания часто представлены не только в текстовом, но и в визуальном виде, существует значительный недостаток систематических подходов и бенчмарков для мультимодального обновления знаний. Это создает серьезные ограничения для разработки надежных и эффективных методов для обновления медицинских знаний в MLLMs. Проблематика заключается в том, что существующие подходы к обновлению знаний в MLLMs недостаточно учитывают специфику медицинских данных, которые часто включают в себя как текстовые, так и визуальные компоненты. Недостаток специализированных бенчмарков для оценки качества обновления медицинских знаний в мультимодальных моделях является ключевым барьером для развития этой области. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этой проблемы, авторы предлагают MedMKEB - первый в своем роде комплексный бенчмарк, предназначенный для оценки эффективности и надежности методов обновления медицинских знаний в мультимодальных моделях. MedMKEB основывается на высококачественном датасете для визуального вопрос-ответ в медицине и включает в себя ряд заданий, специально разработанных для оценки различных аспектов медицинского обновления знаний. Бенчмарк состоит из нескольких задач, включая: 1. **Контрфактуальная коррекция** - проверяет способность модели корректировать неточные или устаревшие знания. 2. **Семантическая генерализация** - оценивает возможность модели применять обновленные знания в новых контекстах. 3. **Перенос знаний** - изучает как модель переносит знания из одного домена на другой. 4. **Адаптивность к противоположностям** - проверяет надежность модели в ситуациях, когда встречается непредусмотренная информация. MedMKEB также включает валидацию человеческими экспертами, что гарантирует высокое качество и точность данных. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели широкий набор экспериментов на MedMKEB, включая одноразовые и последовательные задачи обновления знаний. Они использовали различные MLLMs, в том числе общие и специализированные медицинские модели, чтобы оценить их производительность. Результаты показали, что существующие методы обновления знаний недостаточно эффективны в медицинском контексте. Например, обновление знаний в мультимодальных моделях часто приводит к потере точности или несогласованности в результатах. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ MedMKEB имеет значительное практическое значение для разработки более надежных и эффективных методов обновления медицинских знаний. Он может быть использован для оценки и улучшения методологий в области медицинского искусственного интеллекта, особенно в сфере визуального вопрос-ответ и диагностики. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В итоге, MedMKEB является важной вкладкой в развитие медицинских MLLMs, поскольку он предоставляет комплексный инструмент для оценки и улучшения методов обновления знаний. Будущие исследования могут сосредоточиться на разработке более специализированных методов обновления знаний, которые будут лучше адаптированы к медицинским данным.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Многомодальные большие языковые модели (MLLMs) становятся все более распространенными в различных приложениях, но их безопасность остается критическим вопросом. Одним из основных угроз являются **jailbreak-атаки**, направленные на обход систем безопасности и фильтров, чтобы получить нецензурные или вредные ответы. Доныне большая часть исследований в этой области сосредоточена на максимизации **attack success rate (ASR)**, то есть успешности обхода фильтров. Однако этот подход часто игнорирует качество самих генерируемых ответов. Даже если атака удается, генерируемые ответы могут не соответствовать настоящей цели атакующего, что приводит к низкому уровню **злонамеренного контента**. Эта проблема особенно актуальна в контексте современных MLLMs, где сочетание текста и изображений требует более глубокого понимания интеграции мультимодальных компонентов. Традиционные методы атак часто используют только текстовые промпты, не используя потенциал визуальных компонентов для улучшения результатов. Недостаток комплексного подхода к оптимизации визуальных и текстовых компонентов приводит к неэффективности атак. Данная работа предлагает решение этой проблемы, представляя метод **JPS** (Jailbreak MLLMs with Collaborative Visual Perturbation and Textual Steering), который интегрирует визуальные и текстовые компоненты для повышения качества и эффективности атак. Целью является не только обход систем безопасности, но и обеспечение высокого уровня соответствия ответов цели атакующего. ## ПРЕДЛОЖЕННЫЙ МЕТОД **JPS** представляет собой инновационный подход, который сочетает **target-guided adversarial image perturbations** (адверасарные визуальные изменения) и **steering prompt** (текстовое направление запроса) в единой координированной стратегии. Алгоритм оптимизирует эти компоненты взаимодействующим образом для максимизации эффективности атаки. 1. **Визуальная компонента**: JPS применяет адверасарные изменения к входящим изображениям, которые направлены на обход систем безопасности MLLMs. Эти изменения генерируются с помощью целевого руководства, что позволяет эффективно манипулировать восприятием модели. 2. **Текстовая компонента**: "Steering prompt" генерируется с помощью многоагентной системы, которая оптимизирует текстовый запрос таким образом, чтобы он руководил генерацией ответа моделью в соответствии с целями атакующего. Два компонента (визуальный и текстовый) проходят процесс **итеративной координированной оптимизации**, что позволяет достичь высокой эффективности атаки. Этот подход отличается от традиционных методов, которые обычно работают только с одним типом компонента. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности метода JPS были проведены эксперименты на различных MLLMs и наборах данных. Результаты показывают, что JPS достигает рекордных показателей в **ASR** (Attack Success Rate) и **MIFR** (Malicious Intent Fulfillment Rate) по сравнению с предшествующими методами. 1. **Наборы данных**: Исследование проводилось на различных бенчмарках, включая стандартные датасеты для тестирования MLLMs. 2. **Метрики**: Были использованы две основные метрики: - **ASR**: Мера успешности обхода систем безопасности. - **MIFR**: Новая метрика, оценивающая качество генерируемых ответов с точки зрения выполнения цели атакующего. Она использует Reasoning-LLM для оценки соответствия ответов цели. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Метод JPS имеет значительное практическое применение в области безопасности искусственного интеллекта. Он позволяет оценить уязвимости MLLMs и разработать более надежные методы защиты. Кроме того, JPS может быть использован для: - **Тестирования безопасности MLLMs** в реальных условиях. - **Обнаружения уязвимостей** в существующих системах фильтрации контента. - **Разработке усовершенствованных методов защиты** от атак на мультимодальные модели. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе представлен новый метод **JPS**, который устанавливает новые стандарты в области атак на MLLMs, обеспечивая высокий уровень качества и соответствия цели атакующего. Будущие исследования могут фокусироваться на улучшении методов защиты MLLMs, а также на разработке новых метрик для оценки качества генерируемых ответов. Кроме того, дальнейшее исследование может включать в себя исследование других мультимодальных компонентов, таких как видео и аудио, для создания более комплексных методов атак и защиты.

## КОНТЕКСТ И ПРОБЛЕМАТИКА В последнее времение вопросы интерпретируемости и прозрачности моделей машинного обучения приобрели особую актуальность. Одним из ключевых направлений в этой области является **data attribution**, то есть определение влияния отдельных обучающих примеров на результаты модели. Это позволяет лучше понять, как модель принимает решения, и повысить её прозрачность. Однако существующие методы data attribution сталкиваются с некоторыми проблемами. Первая проблема — это **локализованность объяснений**. Многие методы, основанные на методе leave-one-out (LOO), анализируют влияние только одного обучающего примера, игнорируя коллективное влияние всего набора данных. Это ограничивает глубину и точность объяснений, так как реальное влияние обучающих данных часто является результатом взаимодействия множества примеров. Вторая проблема — **отсутствие базового уровня (baseline)** во многих методах. Базовый уровень позволяет сравнивать текущий набор данных с каким-либо начальным состоянием, что может быть полезно для построения контрфактуальных объяснений. Например, без базового уровня невозможно оценить, как изменение набора данных может повлиять на результат модели. Наконец, многие существующие методы недостаточно гибкие и не позволяют эффективно идентифицировать проблемы, такие как ошибочно отмеченные примеры. Это ограничивает их практическую применимость. Таким образом, требуется новый подход, который бы учитывал коллективное влияние данных и предоставлял более гибкие возможности для объяснений. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной работе предлагается новый метод под названием **Integrated Influence**, который решает проблемы существующих подходов. Основная идея заключается в том, чтобы определить **базовый набор данных** и провести процесс **дегенерации данных**, при котором текущий набор данных переходит к этому базовому состоянию. Во время этого процесса вычисляется влияние каждого обучающего примера. Технически, метод основан на **теоретическом рамках**, который позволяет формализовать процесс дегенерации данных. Базовый набор данных определяется как начальное состояние, к которому текущий набор данных должен сходиться. Процесс дегенерации описывается как последовательное удаление или изменение обучающих примеров, при котором вычисляется их влияние на модель. Кроме того, метод **Integrated Influence** показывает, что некоторые существующие методы, такие как **influence functions**, могут быть рассмотрены как специальные случаи этого подхода. Это подчеркивает теоретическую значимость и гибкость предлагаемого метода. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗЫЛЬТАТЫ Чтобы провести оценку метода, были проведены эксперименты на различных наборах данных. Авторы сравнили **Integrated Influence** с другими популярными методами data attribution, такими как LOO-based методы и influence functions. В экспериментах было показано, что **Integrated Influence** дает более **надёжные и точные объяснения** по сравнению с другими методами. Он лучше справляется с задачей идентификации ошибочно отмеченных примеров и позволяет получить более информативные объяснения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкое применение в различных областях, где необходима прозрачность и интерпретируемость моделей машинного обучения. Он может быть использован для **обнаружения ошибочно отмеченных данных**, что критически важно для повышения качества моделей. Кроме того, **Integrated Influence** может быть применен в задачах **контрфактуального объяснения**, которые позволяют понять, как изменения в данных могут повлиять на результат модели. Преимущества метода заключаются в его **гибкости** и **надёжности**. Он позволяет получить более глубокие и точные объяснения, что может быть полезно в таких областях, как медицина, финансы и автономные транспортные системы, где прозрачность решений критически важна. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе был предложен новый метод **Integrated Influence**, который решает проблемы существующих подходов к data attribution. Он позволяет учитывать коллективное влияние данных и предоставляет более гибкие возможности для объяснений. Экспериментальные результаты показали, что этот метод является более надёжным и точным по сравнению с другими подходами. В будущем можно рассмотреть дальнейшее развитие этого метода, в том числе его применение к более сложным моделям и наборам данных. Также можно исследовать возможности интеграции этого метода в различные практические приложения, где прозрачность моделей играет ключевую роль.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Неартрическая речь, вызваная неврологическими расстройствами, представляет значительные трудности для разработки помощительных технологий речи. Основной проблемой является ограниченность доступных данных, что существенно ограничивает возможности обучения моделей речи. В последнее время, нейронные модели речевого синтеза, особенно технологии нулевого выстреливания голоса (zero-shot voice cloning), позволяют создавать синтезированную речь для дополнения данных (data augmentation). Однако эти модели могут ввести существенные предубеждения (biases) в отношении неартрической речи, что может повлиять на качество синтезированной речи. В данном исследовании рассматривается проблема несправедливости (unfairness) в синтезированной речи, особенно при анализе речи с различными степенями неартрии. Исследование фокусируется на том, как модели синтеза речи воспроизводят речь людей с неартрией, и на том, как можно оценить качество синтеза с точки зрения интеллектуальности (intelligibility), подобия голоса (speaker similarity) и сохранения просодических особенностей (prosody preservation). Кроме того, в работе проводится анализ возможных смещений (bias) с помощью метрик справедливости, таких как Disparate Impact и Parity Difference, чтобы определить возможные неравенства в синтезированной речи для разных степеней неартрии. ## ПРЕДЛОЖЕННЫЙ МЕТОД В качестве базового метода для синтеза речи используется F5-TTS, современная модель нейронного синтеза речи, которая позволяет реализовывать нулевое выстреливание голоса (zero-shot voice cloning). Метод основывается на использовании датасета TORGO, который содержит записи речи людей с неартрией различной степени тяжести. Модель F5-TTS обучается на этих данных с целью воспроизведения речи, сохраняя как можно больше информации о голосе и просодии. Для оценки биасов (bias) в синтезированной речи используются метрики справедливости, такие как Disparate Impact и Parity Difference. Эти метрики позволяют оценивать, насколько синтезированная речь отражает реальные различия в речи людей с разными степенями неартрии, и выявлять возможные недостатки в модели. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В экспериментах было использовано датасет TORGO, который включает в себя записи речи людей с неартрией разной степени. Результаты показали, что модель F5-TTS демонстрирует высокую точность в воспроизведении интеллектуальной речи (intelligibility), однако с недостаточной точностью в сохранении голоса говорящего (speaker similarity) и просодии (prosody). Это может указывать на существование биасов в модели, которые предпочли бы сохранение интеллектуальности речи над другими аспектами. Кроме того, использование метрик справедливости показало, что модель F5-TTS может демонстрировать неравенство в отношении разных степеней неартрии, где речь более выразительная (intelligible) людей с более легкой формой неартрии получает более высокий рейтинг качества. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Результаты этого исследования могут быть использованы для разработки более справедливых и инклюзивных технологий речевого синтеза, особенно для людей с неартрией. Особенно важно обеспечить, чтобы синтезированная речь была доступна и понятна для всех пользователей, независимо от степени неартрии. Информация, полученная из этого исследования, может помочь в создании моделей, которые будут учитывать различные аспекты речи, включая интеллектуальность, голос и просодию, чтобы создавать более качественную и справедливую речь. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Исследование показало, что модель F5-TTS имеет сильный биас в отношении интеллектуальности речи при синтезировании речи людей с неартрией. Это может быть важно для будущих исследований, особенно в контексте разработки более справедливых моделей речи. Будущие исследования могут фокусироваться на том, как улучшить модели речи так, чтобы они были более справедливыми и учитывали различные аспекты речи, не только интеллектуальность, но и голос и просодию. Кроме того, можно рассмотреть возможность использования более разнообразных данных для обучения моделей, чтобы снизить возможное влияние биасов.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Аналоговый конструирование является ключевой, но трудоемкой частью процесса разработки чипов. Он требует большого количества опыта и зачастую занимает значительное время в разработке. Несмотря на значительные достижения в области искусственного интеллекта, создание универсальных, быстрых и стабильных методов для размещения логических элементов (gate sizing) в аналоговых конструкциях остается серьезной проблемой. Существующие подходы часто используют большие нейронные сети или модели, которые требуют значительных вычислительных ресурсов. Это создает проблемы с портативностью и универсальностью, особенно когда речь заходит о различных технологических процессах (technology nodes). Кроме того, многие существующие методы требуют специальной подготовки для каждого конкретного процесса, что делает их менее эффективными и менее пригодными для широкого применения. Для решения этих проблем необходим метод, который мог бы обеспечить универсальность, стабильность и эффективность в различных условиях и технологических процессах. Это может значительно ускорить процесс разработки аналоговых конструкций, снизить затраты на вычислительные ресурсы и сделать процесс более доступным для разработчиков. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной работе предлагается EasySize – первый легковесный фреймворк для размещения логических элементов в аналоговых конструкциях, основанный на модели Qwen3-8B, которая была дообучена (fine-tuned) на данных технологического процесса 350 нм. Основная идея EasySize заключается в динамическом конструировании задачно-специфических функций потерь (loss functions) на основе понятия Ease of Attainability (EOA) различных метрик производительности. EasySize использует глобальный поиск на основе Differential Evolution (DE) и локальный поиск с помощью Particle Swarm Optimization (PSO), которые работают в совокупности с обратной связью для улучшения результатов. Это позволяет эффективно оптимизировать размещение логических элементов в различных условиях, не требуя дополнительной подготовки или дообучения на каждом конкретном процессе. Фреймворк EasySize был протестирован на различных технологических узлах, включая 180 нм, 45 нм и 22 нм, и показал высокую эффективность. Он также показал превосходство над AutoCkt, другим популярным фреймворком, основанным на Reinforcement Learning, снизив затраты на вычислительные ресурсы более чем на 96%. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗЮЛЬТАТЫ В рамках экспериментов EasySize был применен к пяти различным схемам операционных усилителей (Op-Amp) на технологических узлах 180 нм, 45 нм и 22 нм. Несмотря на то, что модель была дообучена только на данных 350 нм, она показала высокую эффективность на всех тестируемых процессах. В результате экспериментов EasySize достиг результатов, превосходящих AutoCkt в 86,67% задач, при этом снижая потребление вычислительных ресурсов более чем на 96%. Это показывает высокую эффективность и универсальность предложенного метода. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ EasySize может быть применен в различных областях разработки аналоговых конструкций, где необходимо быстро и эффективно оптимизировать размещение логических элементов. Благодаря своей универсальности и стабильности, он может существенно сократить время и затраты на разработку, что делает его привлекательным для индустрии чипов. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе был представлен EasySize – новый фреймворк для аналогового конструирования, который обеспечивает высокую эффективность и универсальность. Будущие исследования могут фокусироваться на дальнейшем улучшении модели и ее применении в других областях разработки аналоговых конструкций.