## Контекст Чувствительность к языку является ключевым аспектом социального образования и цифрового развития. Имеющиеся исследования показали, что некоторый лексический токсичный язык может негативно сказаться на участниках интернет-сообществ, особенно в контексте видео-платформ. Одним из таких сложных явлений является Chinese Patronizing and Condescending Language (CPCL), этот тип реплик, непосредственно или косвенно, способствует профилированию групп по расу, полам и возрасту. Однако существующие данные имеют ограничения во включении комментариев, которые являются непосредственной реакцией пользователей на видео-контент. Это влияет на модели, уменьшая их эффективность. ## Метод Чтобы решить эти проблемы, новая методология CPCLDetector ввела значительные улучшения в области обработки текстовых данных. Модель использует знания из обучающих данных для повышения точности определения CPCL. Модель CPCLDetector разделяет уровни комментариев по глубине, чтобы более точно определить токсичность. Таким образом, модель находит токсичные элементы в контексте видео-контента, что позволяет лучше понять его. Более того, в реализации данной модели используется модель крупномасштабного языкового моделирования, что обеспечивает закрепление знаний и работу с контекстом. ## Результаты Проведены эксперименты с двумя датасетотами: PCLMM и PCLMMPLUS. Использовались 103 тысяч комментариев, которые были получены с помощью модели CPCL-D. Результаты показали, что CPCLDetector превышает State-of-the-Art (SOTA) по метрикам F1-score и Recall-score. Более того, в условиях PCLMMPLUS модель показала себя еще лучше, демонстрируя способность лучше распознавать CPCL в контексте более крупных датасетов. ## Значимость Система CPCLDetector может применяться в сервисах цифрового контента для мониторинга токсичности. Она позволяет не только определять CPCL, но и работать над исключением негативного языка в общественной сфере. Значительное улучшение эффективности модели в детектировании CPCL может способствовать более полному пониманию и контролю токсичности в цифровой среде. ## Выводы Модель CPCLDetector демонстрирует улучшенную точность в детектировании CPCL, продемонстрировав способность работать в больших датасетах. Это определяет ее важность для мониторинга языка в онлайн-сообществах. Дальнейшими направлениями исследований является расширение модели, чтобы она могла работать с более сложными типами токсичного языка и модерировать контент в разных языковых регионах.

## Контекст Много modal relation extraction (MRE) является важной задачей в областях Knowledge Graph и Multimedia, играя ключевую роль в построении multimodal knowledge graph. Однако существующие методы по сути ограничены в выделении одного типа реляционных тройняшек, что ограничивает их возможности выделять тройки за пределами указанных типов. Их комбинирование прямым образом не позволяет ловко охватить динамические кросс-modalные взаимодействия и приводит к значительному росту вычислительных затрат. Мы предлагаем REMOTE — универсальный много modal relation extraction фреймворк с многоуровневым транспортным оптимизатором и микстой экспертов, проектированный для совместного выделения внутри modal и меж modalных реляций между текстовыми сущностями и визуальными объектами. Наша модель позволяет эффективно адаптировать выбор интересующих функций взаимодействия к различным типам реляционных тройняшек. ## Метод Мы вводим многоуровневый транспортный модуль для объединения, который сохраняет низкоуровневые признаки в процессе многослойного кодирования. Это позволяет повысить выразительность представлений. Для выделения реляционных тройняшек мы применяем механизм микстов экспертов, который динамически выбирает наиболее релевантные взаимодействия для каждого типа реляций. Это гарантирует оптимальную использование информации из разных модальностей. Таким образом, REMOTE универсально и эффективно, охватывая широкий спектр взаимодействий между текстовыми и визуальными субъектами. ## Результаты Мы проводим эксперименты на созданном нами датасете Unified Multimodal Relation Extraction (UMRE), включающем разнообразные сценарии, где субъекты могут быть текстовыми или изображениями. Модель REMOTE показывает сверхувышнее качество результатов почти на всех метриках по сравнению с другими моделями на двух открытых датасетах MRE. Наши исследования подтверждают, что REMOTE эффективно выделяет разнообразные типы реляционных тройняшек и достигает состояния лидерства в своей области. ## Значимость Наша модель REMOTE может использоваться в различных приложениях, таких как распознавание значков, обработка текста и видео, а также в биоинформатике. Она превосходит существующие методы по объему выделенных реляций и точности, что делает ее привлекательной для разных задач. Мы также открыли доступ к нашим ресурсам, чтобы поддержать будущие исследования. ## Выводы Мы предложили REMOTE — мощный фреймворк для много modal relation extraction, который эффективно работает с разнообразными типами реляционных тройняшек. Наши результаты показали лидирующую позицию REMOTE по сравнению с другими моделями. Мы планируем продолжать развивать REMOTE, о

## Контекст Осознание человеческих интентов из мультимодальных сигналов является ключевым для анализа поведения и улучшения взаимодействия человека с машиной в реальных условиях. Однако существующие методы страдают от ограничений в модальности-уровне, что приводит к ограниченной реляционной рассуждаемости над тонкой семантикой для понимания сложных интентов. Недостаток неявного понимания интентов через логические связи между модальными сигналами ограничивает эффективность распознавания интентов в сложных сценариях. Данная работа предлагает новую подходящую LLM-Guided Semantic Relational Reasoning (LGSRR), которая использует знания больших языковых моделей (LLMs) для создания семантических основ, что улучшает производительность мелких моделей в реляционном логическом рассуждении. ## Метод LGSRR включает в себя три компонента: (1) **LLM-Based Semantic Extraction Strategy**, которая использует LLM для извлечения тонкой семантической информации; (2) **Chain-of-Thought (CoT) Reasoning Framework**, который автоматически выявляет, описывает и определяет важность семантических признаков; (3) **Formal Semantic Relation Modeling**, основанный на логических принципах, который моделирует и анализирует взаимодействие трех основных типов семантических отношений. Эта архитектура предлагает гибкий и мощный подход для реляционного рассуждения, который не нуждается в предварительно определенных признаковых моделях. ## Результаты Для оценки LGSRR, авторы проводили эксперименты на двух задачах: многомодальном распознавании интентов и распознавании диалоговых актов. Использовались различные данные, включая multimodal-dialogue datasets и диалоговые акты, чтобы проверить эффективность LGSRR. Результаты показали, что LGSRR превосходит текущие методы в понимании мультимодальных интентов, демонстрируя последовательные повышения производительности в различных сценариях понимания и распознавания. ## Значимость LGSRR может использоваться в различных областях, включая HR (Human Resources), customer service, и другие сферы, где распознавание интентов и реляционное рассуждение ключевые для улучшения взаимодействия с пользователем. Наиболее важными преимуществами являются систематический подход к извлечению тонкой семантики, улучшенная точность распознавания интентов и гибкость в использовании различных мультимодальных данных. Этот подход имеет потенциал для дальнейшего улучшения систем взаимодействия человека с машиной, делая их более точными и эффективными. ## Выводы Результаты доказали, что LGSRR превосходит существующие методы в задачах распознавания мультимодальных интентов. Одним из основных достижений является то, что LGSRR может работать с тонкими семантичес

## Контекст Simulacra Naturae — это инновационная данно-ориентированная медиа-инсталляция, которая исследовала взаимосвязь между поддержкой, экологическими системами и искусственным интеллектом. Она подает новый взгляд на системы, в которых традиционно определялся человеческий вклад. Исследование основывается на использовании биологических вычислений, материальных экологий и генерируемых систем. Основная проблема, которую адресует работа, заключается в том, что традиционные средства визуализации часто ограничиваются человеческим познанием и не учитывают динамику, присущую нечеловеческим субъектам. Эта ограниченность может привести к упущению важности экосистемных отношений, ценности живых организмов и экологических взаимодействий. ## Метод Simulacra Naturae работает через искусственные нейронные сети, которые преобразуют биологические сигналы биологических органов в цифровые формы. Эти сигналы используются для управления генерируемым экосистемным системным поведением, включая визуальные эффекты, аудиокомпозиции и обстановку в пространстве. Метод заключается в том, чтобы создать интерактивную среду, где нейрооргановые сигналы не только влияют на живые растения и артефакты, но также могут сами изменяться под влиянием них. Это достигается с помощью современных технологий, таких как ЖК-дисплеи, а также звуковых и визуальных эффектов, которые взаимодействуют динамически. ## Результаты В результате исследования была создана интерактивная среда, где живые растения, генерируемые визуальные эффекты и звуковые составляющие создавались в реальном времени. Эти элементы были основаны на биологических сигналах, поступающих от нейроорганов. Эксперименты показали, что система воспринимает нейрооргановые сигналы как сигналы управления, но в то же время, эти сигналы могут повлиять на собственную структуру и поведение системы. Например, визуализации могли менять свою форму в зависимости от уровня активности нейроорганов. Результаты показали, что система может значительно улучшить понимание технических систем, если они включают учет биологических факторов. ## Значимость Simulacra Naturae может применяться в различных областях, таких как экологическое искусство, дизайн интерактивных сред, интеллектуальные системы. Она предлагает новый подход к взаимодействию с живыми организмами и технологиями, включая моделирование сложных экосистемных процессов. Ее потенциал заключается в том, что она может способствовать развитию этических отношений к природе и системам