## КОНТЕКСТ И ПРОБЛЕМАТИКА В последние годы прогнозирование временных рядов стало ключевой задачей в различных прикладных областях, от финансовых прогнозов до управления трафиком. Однако традиционные подходы к автоматизации машинного обучения (AutoML) в этой области часто сосредоточены на поиске оптимальных моделей и автоматизации функционального поиска. Несмотря на значительные успехи, эти подходы имеют ограничения, особенно когда речь заходит о качестве данных. Действительно, существующие методы часто игнорируют важность улучшения качества входных данных, которое может иметь значительное влияние на прогнозную точность. В частности, временные ряды часто содержат шум, пропуски и другие аномалии, которые могут существенно повлиять на результаты прогнозирования. Более того, многие модели, особенно легковесные, могут достигать высокой точности, если данные предварительно обработаны и оптимизированы. Это привело к интересу к даноцентрическим подходам, которые стремятся улучшить качество данных вместо того, чтобы фокусироваться исключительно на моделях. В этой статье авторы предлагают исследовать возможности даноцентрического подхода для прогнозирования временных рядов, используя метаданные для оптимизации процесса очистки и подготовки данных. Их целью является разработка агента, который может эффективно использовать метаданные для повышения качества данных и, в конечном счете, улучшить прогнозную точность. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы представляют DCATS (Data-Centric Agent for Time Series), инновационный агент, разработанный для оптимизации прогнозирования временных рядов путем фокусирования на качестве данных. DCATS использует метаданные, которые часто сопровождают временные ряды, для выполнения двух основных задач: очистка данных и оптимизация прогнозирования. Методология DCATS включает в себя несколько этапов. Во-первых, агент анализирует метаданные, такие как метаданные о шуме, пропусках и статистических характеристиках данных. На основе этого анализа он выполняет очистку данных, удаляя или корректируя ненужные или поврежденные части временных рядов. Во-вторых, DCATS использует оптимизированные данные для обучения и тестирования четырех различных моделей прогнозирования временных рядов. Эти модели включают в себя как традиционные, так и более современные подходы к прогнозированию. Затем, используя результаты этих моделей, DCATS выполняет дополнительную оптимизацию, настраивая процесс прогнозирования для достижения наилучших результатов. Архитектура DCATS основана на использовании Large Language Model (LLM) powered agents, которые выполняют роль "планировщиков" в процессе автоматизации. Эти агенты используют естественный язык для взаимодействия с данными и моделями, что позволяет им эффективно выполнять сложные задачи по очистке и оптимизации данных. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности DCATS авторы провели эксперименты на большом наборе данных по прогнозированию объемов трафика. Этот набор данных включает в себя различные временные ряды с различными характеристиками, что делает его идеальным для тестирования даноцентрических подходов. В эксперименте были использованы четыре модели прогнозирования временных рядов. Результаты показали, что DCATS достигает среднего уменьшения ошибки прогнозирования на 6% по сравнению с традиционными подходами. Это улучшение было наблюдаемым на различных временных горизонтах, что подтверждает универсальность и эффективность данного подхода. Кроме того, авторы продемонстрировали, что DCATS может адаптироваться к различным типам данных и моделей, что делает его универсальным инструментом для различных задач прогнозирования временных рядов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Практическая значимость DCATS лежит в том, что он предлагает новый подход к прогнозированию временных рядов, который фокусируется на качестве данных вместо моделей. Это может быть особенно полезно в ситуациях, когда данные содержат шум или пропуски, что является распространенной проблемой в реальных данных. Кроме того, DCATS может быть использован в различных приложениях, таких как управление трафиком, финансовые прогнозы и прогнозирование погоды. Его универсальность и способность адаптироваться к различным типам данных делают его привлекательным для различных секторов индустрии. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В заключение, DCATS представляет собой важный шаг вперед в области прогнозирования временных рядов. Использование даноцентрического подхода позволяет улучшить качество данных и, как следствие, повысить точность прогнозов. Результаты экспериментов показывают, что этот подход может быть эффективен в различных контекстах и может быть применен в различных областях. В будущем, авторы планируют продолжить исследование DCATS, включая эксперименты на более разнообразных наборах данных и моделях. Они также планируют исследовать возможности интеграции DCATS с другими AutoML системами для дальнейшего улучшения прогнозной точности.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Доплеровская ультразвуковая диагностика является ключевым инструментом в клинической практике для измерения скорости кровотока. Однако точность этого метода существенно зависит от правильности определения угла между направлением луча ультразвука и кровеносной артерией. Неточная оценка этого угла является одной из главных причин ошибок в оценке скорости кровотока, что может приводить к неправильной диагностике состояний, таких как стеноз артерий. Традиционные методы определения угла часто требуют вмешательства опытного оператора, что может быть подвержено субъективности и ошибкам. Авторы статьи выдвигают проблему необходимости автоматизации процесса определения угла в доплеровской ультразвуковой диагностике с целью повышения точности и надежности измерений. Разработка автоматических методов на основе искусственного интеллекта может существенно сократить частоту ошибок, связанных с неточной оценкой угла, и улучшить качество медицинской диагностики. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается метод автоматизации определения угла в доплеровской ультразвуковой диагностике, основанный на технологии глубокого обучения. Для этого было собрано набор данных, состоящий из 2100 изображений ультразвукового сканирования человеческих сосудов. Для улучшения обучения модели были применены методы аугментации изображений. Предлагаемый метод включает в себя использование пяти предварительно обученных нейронных сетей для извлечения признаков из изображений. Затем, эти признаки подаются на вход специально разработанной неглубокой нейронной сети, которая выполняет окончательную оценку угла доплеровского сдвига. Для проверки результатов были проведены сравнения с оценками, полученными вручную экспертами. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках исследования были проведены эксперименты для оценки точности предлагаемого метода. Результаты показали, что среднеквадратичная ошибка (Mean Absolute Error, MAE) между автоматическим и ручным определением угла составила от 3.9° до 9.4° в зависимости от используемой модели. Лучшая из моделей дала результат, при котором средняя ошибка была ниже допустимого порога клинических ошибок, что позволяет избежать ошибочной классификации нормальных значений скорости кровотока как стеноза. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Разработанный метод имеет значительный потенциал для применения в клинической практике. Автоматизация процесса определения угла в доплеровской ультразвуковой диагностике может улучшить точность измерений, сократить время, затрачиваемое на диагностику, и снизить вероятность ошибок, связанных с человеческим фактором. Такой подход может быть интегрирован в коммерческие ультразвуковые системы, что позволит облегчить работу медицинских работников и повысить качество пациентского обслуживания. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В результате исследования было показано, что применение глубокого обучения для автоматизации определения угла в доплеровской ультразвуковой диагностике может значительно повысить точность измерений. Будущие исследования могут сосредоточиться на улучшении алгоритмов, расширении обучающих данных и внедрении таких методов в клиническую практику.

**Резюме** В статье представлен SAInT, инструмент на базе Python для визуального анализа и объяснения поведения моделей машинного обучения (ML) с использованием методов чувствительности. Инструмент решает проблему недостаточного понимания моделей ML, обеспечивая интерактивный интерфейс для конфигурирования, обучения, оценки и объяснения моделей без необходимости программирования. SAInT поддерживает Human-in-the-Loop (HITL) рабочие процессы, позволяя исследователям и доменным экспертам взаимодействовать с моделями на глобальном и локальном уровнях. Глобальная атрибуция функций основана на методе чувствительности по дисперсии, а локальные объяснения предоставляются с помощью LIME и SHAP. На примере задачи классификации для прогнозирования выживаемости на Titanic демонстрируется, как SAInT может оптимизировать выбор функций и улучшить качество данных.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Контекст исследования заключается в развитии интерактивных мультимодальных агентов, которые могут эффективно использовать визуальные наблюдения для выполнения последовательности действий, условиями которых является языковой ввод. Такая задача представляет собой ключевой шаг к созданию систем, способных решать сложные задачи в реальном мире. Однако современные vision-language models (VLMs) ещё не обладают необходимыми способностями для эффективного выполнения таких задач в условиях динамических и непредсказуемых окружений. Прежние попытки применения reinforcement learning (RL) к VLMs сталкивались со значительными ограничениями. Многие методы требовали калибровки гиперпараметров, что делало их чувствительными к изменениям, или основывались на средах с высокой плотностью вознаграждений и низкой вариативностью состояний, что ограничивало их применимость в реальных ситуациях. Также, существующие подходы редко проверяли, насколько полученные модели могут обобщаться за пределами сред, в которых они были обучены. Это создавало значительный барьер для использования VLMs в реальных приложениях. Мотивацией исследования является разработка метода, который позволит обучать VLMs в простой и недорогой среде, но при этом обеспечит высокую способность к обобщению на реальных данных. Такой подход может стать важной вехой в развитии интеллектуальных систем, которые могут эффективно взаимодействовать с визуальной и языковой информацией в сложных условиях. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают Vision-Language Decoupled Actor-Critic (VL-DAC), новый легковесный алгоритм RL, предназначенный для обучения VLMs без необходимости гиперпараметрической настройки. Основной инновацией VL-DAC является декоуплирование обновлений для action tokens и value function. Алгоритм применяет Proximal Policy Optimization (PPO) на уровне action tokens, в то время как value function обучается только на уровне шагов в среде. Этот подход устраняет нестабильные весовые коэффициенты, которые характерны для традиционных RL-методов, и обеспечивает более быструю и надёжную сходимость. VL-DAC обучает VLMs последовательно в разных недорогих симуляторах, таких как MiniWorld, Gym-Cards, ALFWorld и WebShop. Это позволяет модели развивать универсальные стратегии, которые могут быть эффективно перенесены на реальные задачи. Архитектура VL-DAC проста в реализации и не требовательна к вычислительным ресурсам, что делает её пригодной для широкого круга приложений. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Исследование проводилось на нескольких бенчмарках, включая BALROG (для игрового контроля), VSI-Bench (для пространственного планирования) и VisualWebBench (для навигации в вебе). Результаты показали значительные улучшения: +50% относительного прироста на BALROG, +5% на самой сложной части VSI-Bench и +2% на VisualWebBench. Эти улучшения были достигнуты без ух peor данности общей точности распознавания изображений, что подтверждает эффективность VL-DAC в обеспечении обобщения. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Практическая значимость VL-DAC заключается в его способности обучать VLMs в недорогих симуляторах, при этом обеспечивая высокую эффективность в реальных задачах. Это открывает новые возможности для применения VLMs в областях таких как агентский контроль, пространственное планирование и навигация в вебе. Метод также может быть использован в сферах, требующих высокого уровня взаимодействия между визуальными и языковыми компонентами, что делает его полезным для разработки интеллектуальных систем. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Исследование демонстрирует, что VL-DAC является первым алгоритмом, способным обучать VLMs в простых симуляторах и показывающим значительные результаты на реальных задачах. Будущие исследования могут фокусироваться на дальнейшем улучшении эффективности алгоритма и расширении его применимости к более сложным задачам и средам.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Мультимодальное обучение представляет собой передовой подход в области искусственного интеллекта, который интегрирует данные из нескольких модальностей, таких как текст, изображения, видео и звук, для решения сложных задач. В последние годы этот домен испытал значительный рост, особенно благодаря использованию моделей на основе механизма внимания, которые достигли высоких результатов в различных прикладных задачах. Однако, по мере того как эти модели становятся все более сложными, встает важный вопрос интерпретируемости их решений. Это особенно критично в приложениях, где необходима ответственность и прозрачность, например, в медицине, финансовом секторе и юридических системах. Проблема интерпретируемости становится еще более сложной в мультимодальных моделях, где взаимодействия между различными модальностями трудно понять и объяснить. Традиционные методы explainable AI (XAI), разработанные для одномодальных моделей, не всегда эффективны в мультимодальном контексте, так как не учитывают сложность взаимодействий между модальностями. Кроме того, архитектурная гетерогенность мультимодальных моделей дает дополнительные трудности для разработки универсальных методов объяснения. Недостаток стандартизированных методов оценки и отчетности в области XAI для мультимодальных моделей также представляет собой значительную проблему. Многие исследования фокусируются на конкретных приложениях или модальностях, но не предоставляют общих принципов для оценки качества объяснений. Это приводит к недостаточной прозрачности и сравнительной оценке различных подходов. Таким образом, необходимо развитие методологий, которые бы обеспечивали более систематический и консистентный подход к XAI в мультимодальных моделях. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается систематический обзор литературы, охватывающий период с января 2020 года по начало 2024 года, с целью анализа состояния исследований по explainability в мультимодальных моделях. Авторы разработали методологию обзора, основанную на нескольких ключевых измерениях: архитектура моделей, используемые модальности, алгоритмы объяснения и методы оценки. Обзор включает в себя анализ различных типов моделей, включая модели vision-language и текстовые модели, которые являются наиболее часто исследуемыми в этой области. Авторы также описывают различные методы XAI, применяемые для мультимодальных моделей, включая методы основанные на внимании (attention-based), которые широко используются для визуализации и объяснения решений моделей. Кроме того, в статье рассматриваются различные подходы к оценке качества объяснений, такие как метрики корреляции с человеческим пониманием, метрики базовой точности и методы валидации на основе пользовательских исследований. Авторы выделяют проблемы, связанные с текущими методами оценки, в том числе недостаточную учету контекстуальных и когнитивных факторов, специфических для каждой модальности. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках систематического обзора авторы провели мета-анализ результатов исследований, опубликованных в указанном временном диапазоне. Результаты показывают, что большинство исследований сосредоточено на моделях vision-language, где визуальные и текстовые модальности широко используются. Методы на основе внимания являются наиболее популярными для объяснения решений моделей, однако они часто ограничены в своей способности захватывать полный спектр взаимодействий между модальностями. Авторы также обнаружили, что методы оценки XAI в мультимодальных моделях являются недостаточно систематичными и часто не учитывают специфику каждой модальности. Например, некоторые методы могут быть эффективными для текстовых данных, но не подходят для визуальных данных. Это приводит к несогласованности в оценке качества объяснений. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Статья имеет значительное практическое значение для разработчиков и исследователей мультимодальных моделей. Она подчеркивает важность создания более прозрачных и интерпретируемых моделей, которые могут быть использованы в критически важных приложениях, таких как медицина, юриспруденция и финансы. Развитие стандартизированных методов оценки XAI может повысить доверие к мультимодальным моделям и обеспечить более ответственное их использование. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В заключение авторы предлагают набор рекомендаций для улучшения исследований в области XAI для мультимодальных моделей. Они подчеркивают необходимость разработки более консистентных и стандартизированных методов оценки, которые учитывали бы специфику каждой модальности. Также предлагается расширение исследований на более широкий спектр модальностей и архитектур моделей. Будущие исследования могут фокусироваться на создании более гибких и универсальных методов объяснения, которые будут эффективны в различных доменах применения.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Генеративные модели, такие как автокодировщики и их разновидности, играют ключевую роль в задачах моделирования высокомерных данных, восстановления объектов и генерации реалистичных образцов. Однако традиционные модели, основанные на стандартных нормальных распределениях в латентном пространстве и классических мерах различия (divergence), часто сталкиваются с проблемами, связанными с недостаточной структурированностью пространства представлений и низкой качественностью восстановленных образцов. В частности, при использовании стандартного гауссовского приоритета (prior) возникает эффект "гомогенизации", при котором разнообразие восстановленных образцов снижается из-за недостаточной экспрессивности латентного пространства. Другой существенной проблемой является сложность моделирования сложных, многомодальных распределений данных. Традиционные методы регуляризации латентного пространства, такие как Kullback-Leibler дивергенция, не всегда способны обеспечить достаточную гибкость для представления таких распределений. Это приводит к неоптимальному разбиению пространства и снижению качества моделирования. В этой связи становится актуальной задача интеграции более гибких математических моделей, способных лучше представлять сложные распределения. Одной из таких моделей является облачная модель (cloud model), которая предлагает более естественное и гибкое представление распределений, основанное на их характеристических функциях. Интеграция этой модели в рамках современных генеративных архитектур, таких как Wasserstein Auto-Encoder (WAE), может помочь решить вышеупомянутые проблемы и улучшить качество моделирования данных. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается **Cloud Model Characteristic Function Auto-Encoder (CMCFAE)**, новая генеративная модель, которая интегрирует облачную модель с фреймворком WAE. Основная идея заключается в использовании характеристических функций облачной модели для регуляризации латентного пространства. Облачная модель представляет собой вероятностную модель, которая описывает распределения с помощью их характеристических функций. Эти функции позволяют описать распределение более гибко, чем традиционные гауссовские модели. Авторы предлагают использовать эту гибкость для регуляризации латентного пространства в WAE. Архитектура CMCFAE включает в себя энкодер и декодер, как в традиционном WAE, но дополнена регуляризатором, основанным на характеристических функциях облачной модели. Регуляризатор обеспечивает согласованность распределения в латентном пространстве с характеристической функцией облачной модели. Такой подход позволяет избежать гомогенизации восстановленных образцов и повысить качество генерации. Кроме того, для улучшения качества моделирования используется Maximum Mean Discrepancy (MMD) регуляризация. MMD позволяет выровнять распределения в латентном пространстве и реальных данных, обеспечивая лучшую структурированность пространства. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на наборах данных MNIST, FashionMNIST, CIFAR-10 и CelebA для оценки качества модели CMCFAE. Результаты сравнивались с другими современными генеративными моделями, такими как VAEs и WAEs с гауссовским приоритетом. Квантитативные результаты показали, что CMCFAE превосходит существующие модели по таким метрикам, как Fréchet Inception Distance (FID) и реконструкционная ошибка. Кроме того, квалитативный анализ показал, что образцы, генерируемые моделью CMCFAE, более разнообразны и реалистичны по сравнению с другими моделями. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод CMCFAE может быть применен в различных областях, где важна высокая качественность генерации и реалистичность восстановленных образцов. Например, в области компьютерного зрения, CMCFAE может быть использована для генерации реалистичных изображений, восстановления деталей изображений или синтеза данных. Другой важной областью применения является обработка естественного языка, где модель может быть использована для моделирования многомодальных распределений, таких как распределение слов в тексте. Также CMCFAE может быть полезна в задачах анонимизации данных, где необходимо сохранить разнообразие и реалистичность генерируемых образцов. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе была представлена новая генеративная модель **CMCFAE**, которая интегрирует облачную модель с фреймворком WAE и использует MMD регуляризацию для улучшения качества генерации. Эксперименты показали, что CMCFAE превосходит существующие модели по различным метрикам качества. Будущие исследования могут быть направлены на дальнейшее улучшение архитектуры модели, а также на применение этого подхода к более сложным данным, таким как видео и 3D-данные. Кроме того, может быть исследовано влияние различных регуляризаторов на качество моделирования.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Ред тимминг (red teaming) является критически важным процессом для выявления уязвимостей в текущих моделях машинного обучения, в том числе в Large Language Models (LLMs). Эти модели широко используются в различных приложениях, что повышает требования к их надежности и безопасности. Однако существующие автоматизированные методы ред тимминга для LLMs основываются на хрупких шаблонах запросов (prompt templates) или однократных атаках (single-turn attacks), что не позволяет полноценно охватить сложность интерактивных, реальных атак. Традиционные методы часто не учитывают динамические, многошаговые взаимодействия, которые могут возникновением в реальных сценариях использования. Кроме того, существующие подходы сталкиваются с трудностями, связанными со спарсными наградами (sparse rewards) и длительными горизонтами взаимодействия (long-horizon challenges), что ограничивает их эффективность. Необходимо разработать более продвинутый и адаптивный подход, способный обнаруживать тонкие уязвимости, которые могут быть пропущены существующими методами. Таким образом, целью данного исследования является создание нового парадигматического подхода к ред тиммингу LLMs, который бы учитывал их динамическую природу и позволял бы обнаруживать более сложные уязвимости. Это необходимо для обеспечения безопасного и надежного развертывания моделей ИИ в реальных условиях. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной статье предлагается инновационный подход к ред тиммингу LLMs, основанный на формализации процесса как Марковский процесс принятия решений (Markov Decision Process, MDP) и применении иерархического Reinforcement Learning (RL). Этот подход позволяет обучить агента, который стратегически «ломает» другой ИИ, используя многошаговые атаки. Авторы предлагают использовать иерархическую структуру RL, где верхний уровень отвечает за выбор общей стратегии атаки, а нижний уровень фокусируется на тонких, токено-ориентированных изменениях, которые могут привести к вредным последствиям. Для обучения агента используется наградная функция, основанная на токенах, которая позволяет оценивать вредность действий на более детальном уровне. Ключевой момент данного подхода заключается в том, что он рассматривает ред тимминг как динамический, траекторийный процесс, а не как однократный тест. Это позволяет обнаруживать более сложные и подтаивающиеся уязвимости, которые могут быть пропущены при использовании традиционных методов. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного метода проведены эксперименты с использованием различных наборов данных и моделей LLMs. Авторы сравнили результаты существующих базовых методов с тем, что было получено с использованием их нового подхода. Результаты показали, что предложенный метод способен обнаруживать гораздо более тонкие и сложные уязвимости, которые не были выявлены при использовании традиционных методов. Благодаря токено-ориентированной наградной функции, агент может выявлять тонкие изменения в поведении модели, которые могут привести к негативным последствиям. Кроме того, эксперименты показали, что иерархическая структура RL позволяет обучить агента выполнять многошаговые атаки, которые более эффективны в выявлении уязвимостей, чем однократные атаки. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкое применение в области безопасности и надежности моделей ИИ. Он может быть использован для обнаружения уязвимостей в различных моделях LLMs, что в свою очередь позволяет улучшить их безопасность и надежность перед развертыванием в реальных условиях. Данный подход также может быть применен для тестирования и оптимизации других моделей ИИ, где важно обеспечить высокий уровень безопасности и надежности. Потенциальное влияние этого метода может быть огромным, так как он позволяет создавать более надежные и безопасные системы ИИ, которые могут быть использованы в критически важных приложениях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данного исследования был разработан новый подход к ред тиммингу LLMs, основанный на формализации процесса как MDP и применении иерархического RL. Этот подход позволяет обнаруживать более сложные и тонкие уязвимости, которые могут быть пропущены традиционными методами. Будущие исследования могут фокусироваться на дальнейшем улучшении этого подхода, в том числе на разработке более эффективных наградных функций и методов обучения агентов. Кроме того, можно рассмотреть возможность применения этого подхода к другим типам моделей ИИ, чтобы обеспечить более широкое использование этой технологии.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Распространение технологий генеративного искусственного интеллекта в последнее время тесно связано с механизмом внимания, который лежит в основе архитектур трансформеров. Однако, несмотря на их успех в крупномасштабных задачах, не всегда трансформеры показывают преимущество над традиционными моделями, такими как многослойные персептроны (MLP) или рекуррентные сети (RNN), в малых задачах. Особенно это заметно в контексте **"таск-свитчинга" (task switching)** — задачи, где модели должны эффективно переключаться между различными подзадачами в рамках последовательных данных. В этой работе исследуется проблема эффективности трансформеров в таск-свитчинге, особенно в задачах, требующих высокой адаптивности к изменяющимся условиям. Основная мотивация заключается в том, чтобы оценить, могут ли трансформеры, основанные на механизме внимания, превосходить традиционные подходи в подобных сценариях. Исследуется специфическая модель задачи, основанная на арифметических операциях (IARC: increment, addition, reverse copy, context), в которой модели должны обрабатывать последовательности токенов, содержащие контрольные токены, определяющие текущую подзадачу. Изучение этого контекста важно, поскольку понимание ограничений и возможностей трансформеров в малых задачах может помочь улучшить их применение в реальных системах, требующих быстрого переключения между задачами. Также, это позволяет понять, как различные варианты механизма внимания влияют на производительность моделей в таких ситуациях. ## ПРЕДЛОЖЕННЫЙ МЕТОД В рамках исследования были рассмотрены несколько вариантов архитектур, включая стандартные трансформеры, рекуррентные сети типа LSTM, и MLP. Кроме того, были предложены модификации архитектуры трансформера, такие как **cisformer** — расширенная версия трансформера, которая не является трансляционно-инвариантной, и **extensive attention** — альтернативный механизм внимания. Cisformer предлагает более гибкую структуру, позволяющую модели более эффективно обрабатывать последовательности с переключениями между задачами. Extensive attention, в свою очередь, модифицирует стандартный механизм внимания, обеспечивая более глубокое понимание контекста и повышая точность предсказаний. Ключевым моментом является то, что эти модификации позволяют преодолеть ограничения стандартных трансформеров в задачах с частыми переключениями контекста. Модели были тщательно оптимизированы для работы с последовательностями, где каждая подзадача требует различного подхода к обработке. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках экспериментов были использованы данные, содержащие последовательности токенов с контрольными токенами, определяющими текущую подзадачу. Модели были оценены по их способности к предсказанию следующих токенов в последовательности. Результаты показали, что стандартные трансформеры, MLP и LSTM достигают сравнительно низких точностей в задаче таск-свитчинга, не превышая 60-70%. Однако, комбинация cisformer с extensive attention показала значительно лучшие результаты, достигая точности около **95%**. Эти результаты демонстрируют, что модифицированные архитектуры трансформеров, особенно с использованием расширенного механизма внимания, могут значительно превосходить традиционные модели в задачах, требующих быстрого переключения контекста. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенные модификации трансформеров могут быть применены в областях, требующих быстрого переключения между различными задачами, таких как **робототехника**, **автоматизированные системы управления**, и **естественный язык обработки**. Например, в робототехнике, где робот должен выполнять различные задачи в зависимости от контекста, эффективное переключение между задачами критически важно. Достижение высокой точности в таких задачах может улучшить производительность систем, особенно в ситуациях, где необходимо быстрое адаптирование к новым условиям. Это может быть особенно полезно в системах, где нужно обрабатывать потоки данных в реальном времени. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Исследование показало, что модификации архитектуры трансформера, такие как cisformer и extensive attention, могут значительно повысить производительность в задачах таск-свитчинга. Это открывает перспективы для дальнейших исследований в области модификации механизма внимания и его применении в реальных системах. Будущие исследования могут фокусироваться на дальнейшем улучшении этих модификаций, а также на их применении в более широких областях, таких как мультизадачность и адаптивное обучение. Кроме того, эти результаты могут быть использованы для лучшего понимания того, как работает механизм внимания в различных контекстах.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Машинное обучение (ML) широко используется для классификации объектов, в том числе в задачах детекции, которые включают локализацию объектов с помощью ограничительных рамок. Традиционно оценка точности моделей классификации основывается на простом подходе "проход/неудача", где любое несоответствие предсказанному классу и истинному является ошибкой. Такой подход не учитывает природу ошибок и их возможное вариативное значение. В реальных задачах классы часто структурированы в иерархические таксономии, отражающие отношения между классами или предпочтения пользователей по отношению к ошибкам. Например, ошибка внутри близкого подкласса может быть менее критична, чем ошибка в другой области таксономии. Несмотря на это, существующие метрики оценки не предоставляют механизмов для разграничения ошибок по степени их значимости. Эта проблема мотивирует разработку более тонких метрик, которые учитывают иерархическую структуру классов и позволяют давать "частичные баллы" за предсказания, близкие по смыслу к истинному классу. Такие метрики могут помочь лучше понять влияние ошибок и оптимизировать модели в соответствии с конкретными целями пользователей. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают метод Hierarchical Scoring, основанный на использовании иерархических деревьев для кодирования отношений между классами. Деревья строятся таким образом, чтобы расстояние между предсказанным и истинным классом могло быть измерено и интерпретировано в терминах "стоимости" ошибки. Предложенные метрики варьируются по сложности и позволяют применять различные стратегии взвешивания. Например, можно настроить метрики так, чтобы они отражали большую штраф за ошибки в критичных областях таксономии. Метод включает в себя создание "скоринговых деревьев", где каждый узел представляет класс, а ребра соответствуют отношениям между классами. Эта методология предоставляет гибкость в оценке моделей, позволяя ранжировать их не только по количеству ошибок, но и по их типу и значимости. Авторы также разработали реализации метода на Python, доступные в открытом репозитории. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для демонстрации метода были проведены эксперименты на абстрактном наборе данных с различными стратегиями взвешивания. Авторы использовали иерархические деревья с тремя типами весов, чтобы оценить, как метрики влияют на поведение моделей. Результаты показали, что предложенные метрики дают более детальное представление об ошибках, позволяя выявить те, которые имеют больший вес. Настройка деревьев также показала, что модели могут быть оптимизированы для минимизации ошибок в критичных областях. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкое применение в областях, где важно не только уменьшить количество ошибок, но и контролировать их вид. Например, в медицинской диагностике ошибка в классификации тяжелого заболевания может быть критичнее, чем в более низкорискованной области. Такая гранулярность оценки может повысить надежность и эффективность моделей ML в критических приложениях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Авторы доказали, что Hierarchical Scoring позволяет оценивать модели ML с большей гранулярностью, учитывая иерархию классов. Будущие исследования могут расширить этот подход на более сложные таксономии и применить его в реальных системах, где важно контролировать не только количество, но и тип ошибок.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Многомерная классификация временных рядов (Multivariate Time-Series Classification, MTSC) является ключевой задачей в таких областях, как износостойкие датчики, мониторинг биомедицинских данных и другие приложения, требующие анализа комплексных данных во временном контексте. Несмотря на значительные успехи в этой области, существующие подходы сталкиваются с некоторыми серьезными ограничениями. Модели на основе трансформеров (Transformers) и сверточных нейронных сетей (Convolutional Neural Networks, CNNs), хоть и достигли высоких результатов в классификации, часто характеризуются высокой вычислительной сложностью, требуют больших параметрических ресурсов и имеют ограниченную способность к анализу частотных компонент временных рядов. Эти недостатки делают их менее пригодными для приложений, где важна эффективность ресурсов и возможность работы на ограниченной вычислительной мощности. Кроме того, существующие модели обычно не учитывают многоуровневую природу временных рядов, где различные частотные компоненты могут быть важны на разных временных масштабах. Это ограничение может приводить к потере важной информации при классификации. Таким образом, необходимо разработать новый подход, который сочетает в себе высокую точность классификации и низкую вычислительную сложность, а также учитывает многоуровневую природу данных. ## ПРЕДЛОЖЕННЫЙ МЕТОД Предлагается новый метод под названием PRISM (Per-channel Resolution-Informed Symmetric Module) для классификации многомерных временных рядов. PRISM основывается на использовании симметричных конечно-импульсных фильтров (Finite-Impulse Response, FIR), применяемых на нескольких временных масштабах для каждого канала независимо. Этот подход позволяет получать высокочастотно-селективные эмбеддинги (embeddings) без необходимости выполнения межканальных сверток, что существенно сокращает размер модели и ее вычислительную сложность. Ключевой идеей PRISM является применение фильтров FIR на разных временных масштабах для каждого канала, что позволяет эффективно извлекать информацию о частотных характеристиках данных. Эти фильтры работают независимо для каждого канала, что позволяет сохранить их специфические частотные характеристики. Такой подход обеспечивает лучшую интерпретируемость модели и позволяет эффективно работать с различными типами данных. Архитектура PRISM состоит из нескольких симметричных модулей, каждый из которых обрабатывает входные данные на разных временных масштабах. Эти модули соединены в серию, что позволяет получать многоуровневую представление данных. Кроме того, PRISM использует легковесные классификационные модули, что дает дополнительный прирост в эффективности. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности метода PRISM были проведены эксперименты на нескольких наборах данных, включая Human Activity Recognition (HAR), Sleep-Stage Classification и Biomedical Data. Эти данные представляют собой многомерные временные ряды с различными характеристиками. PRISM был сравнен с несколькими современными методами, включая CNN- и Transformer-based модели. Результаты экспериментов показали, что PRISM достигает точности классификации, сопоставимой с современными моделями, но с значительно меньшим количеством параметров и вычислительных операций (FLOPs). В частности, PRISM использует примерно на порядок меньше параметров и вычислительных ресурсов по сравнению с трансформером и CNN-based моделями. Это демонстрирует высокую эффективность PRISM в решении задачи классификации многомерных временных рядов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предлагаемый метод PRISM имеет широкое применение в различных областях, требующих классификацию многомерных временных рядов. Например, в биомедицинской области, PRISM может быть использован для мониторинга состояния пациентов, анализа данных, полученных от износостойких датчиков, или для классификации этапов сна. Благодаря своей низкой вычислительной сложности и высокой точности, PRISM может быть внедрен на мобильных устройствах или IoT-устройствах, где ограничены вычислительные ресурсы. Кроме того, PRISM может быть использован в таких областях, как мониторинг физической активности, анализ электрокардиограмм (ECG) и другие приложения, требующие анализа временных рядов. Его эффективность и малогабаритность делают его пригодным для использования в реальных условиях, где важна энергоэффективность и высокая точность классификации. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе представлен метод PRISM, который сочетает в себе классические подходы к обработке сигналов с современными методами глубокого обучения. PRISM показывает высокую точность классификации многомерных временных рядов при значительно меньших ресурсах по сравнению с современными моделями. Это открывает новые возможности для применения в реальных условиях, где важна эффективность ресурсов. Будущие исследования могут фокусироваться на дальнейшем улучшении PRISM, включая его адаптацию для работы с более сложными временными рядами или для использования в реальном времени. Кроме того, можно исследовать возможность интеграции PRISM с другими моделями или методами обработки данных для повышения его эффективности.