#### Контекст Современное веб-пространство поsылает значительные вызовы для моделей визионно-языковых систем (Vision-Language Models, VLMs) при обнаружении враждебного контента, такого как хейт-спич, где формируется вредное воздействие скрытым образом в контексте юмора или сатиры. Существующие модели часто недостаточно гибки в плане настройки входных данных и структуры задач. Кроме того, их уязвимость к неявному хейт-спичу ограничивает их эффективность в ситуациях, где тонкость взаимодействия текста и изображения ключом к пониманию тонких нюансов. В статье предлагается подход, который направляется на улучшение обнаружения хейт-спича с помощью гибкого проектирования моделей и синтетических данных. #### Метод Методология основывается на двух основных компонентах. Во-первых, структурированные предложения (prompts), которые позволяют контролировать уровень гибкости в обучении и настройке системы. Во-вторых, многоагентная система, сочетающая в себе визуальную и языковую модели (LLM-VLM), для генерации синтетических данных. Эта система генерирует 2479 противоположных к хейт-спичу модификаций мемов, изолируя и переписывая хейт-спические модификации. Это улучшает обнаружение и снижает спуфинг, позволяя модели лучше ориентироваться на различные контексты. #### Результаты Используя данные из различных моделей (включая InternVL2), авторы проводили эксперименты для оценки эффективности своих подходов. Отчет о первом подходе, связанном с оптимизацией предложений, показал улучшение устойчивости модели даже в моделях меньшего размера. Отчет о данных, сгенерированных многоагентной системой, показал уменьшение ненужных корреляций и улучшение генерализируемости классификатора. #### Значимость Подходы, предлагаемые в статье, могут применяться в области мониторинга хейт-спича в социальных сетях, интерактивном анализе контента, а также в поиске ненужных зависимостей в данных. Они выделяются тем, что улучшают робастность моделей, снижая зависимость от их размера, и позволяют более эффективно учитывать контекст в обнаружении хейт-спича. #### Выводы В результате исследования было доказано, что гибкость в структуре задачи и в размере модели, а также целенаправленная генерация синтетических данных, являются ключевыми факторами для улучшения обнаружения хейт-спича. Будущие исследования будут сфокусированы на расширении этого подхода на другие типы враждебного контента и создании более тонких методов для обнаружения неявного негативного контента в реальных сетях.

## Контекст Область химических исследований часто сталкивается с задачей определения синтезных путей для получения целевых молекул из доступных начальных реагентов. Эта задача, известная как констрейнтед ретросинтез, является важной, но сложной. Она требует учета практических ограничений, таких как доступность реагентов и безопасность процессов. Несмотря на развитие технологий, в том числе в области машинного обучения, создание эффективных систем, которые могут успешно справляться с такими задачами, остается нерешенной проблемой. Исследователи сталкиваются с ограничениями в точности и скорости, связанными с традиционными подходами. Было предложено использовать large language models (LLM) для улучшения эффективности и точности таких задач, но их полное воздействие в этой области до сих пор не было раскрыто. ## Метод LARC (Large Language Model Agentic Framework for Retrosynthesis Planning under Constraints) представляет собой инновационную методологию, которая комбинирует мощь боLarger Language Models (LLMs) с агентным подходом для надёжного выполнения задач констрейнтед ретросинтеза. Основной идеей является использование LLM в качестве основного распознавателя шаблонов ретросинтеза, а также Agent-as-a-Judge для оценки соответствия каждого шага реакции заданым ограничениям. Этот подход включает в себя не только определение шагов синтеза, но также и контроль полученных результатов в соответствии с практическими потребностями. LARC использует оркестрованные инструменты для осуществления оптимальных решений, а обучение проводится на ограниченных, но представительных, данных, чтобы обеспечить его эффективность в реальных условиях. ## Результаты Задачи ретросинтеза были протестированы на высококачественной выборке, содержащей 48 задач различных ограничений. LARC показал успешность 72.9%, что существенно превосходит лучшие LLM-базированные базовые модели. Это результат приближается к уровню экспертов-химиков, но выполняется в меньшем времени. Лабораторные эксперименты показали, что LARC не только повышает точность, но и уменьшает время работы над задачами. Этот подход также доказал свою эффективность в различных условиях, таких как различные типы ограничений и типы реакций. ## Значимость Результаты LARC открывают новые возможности в химических исследованиях. Он может применяться в предметных областях, где требуется высокая точность и быстрота решений в условиях строгих ограничений, таких как разработка новых лекарств, экологически безопасные процессы и улучшение производственных процессов. Преимущества LARC заключаются в своей доступности, точности и скорости, что делает его подходящим для использования в современных лаборатори

#### Контекст В последние годы появились многомодальные большие языковые модели (MLLMs), которые оперируют несколькими типами данных, включая текст и изображения. Одной из ключевых задач, с которой сталкиваются такие модели, является Instructed Visual Segmentation (IVS), или указательная визуальная сегментация. Задача IVS заключается в том, чтобы выделить объекты на изображении или видео в соответствии с естественным языковым запросом. Несмотря на то, что MLLMs достигли высокой точности в IVS, их высокий косвенный затратный порог, особенно при работе с видео, остается значительной проблемой. Это ограничение становится все более актуальным в ситуациях, требующих реального времени. В этой статье мы исследуем эффективность визуальных токенов в MLLMs и разрабатываем метод, который позволяет сократить накладные расходы без существенного ущерба качеству. #### Метод Мы предлагаем на основе EVTP-IVS, новый метод эффективной визуальной токен-прайзинг, который оптимизирует выбор токенов для того, чтобы сохранить максимальную информативность с минимальным количеством токенов. Метод основывается на алгоритме k-center, который включает в себя специальные техники для учета пространственной информации. Это позволяет гарантировать представительность выделяемых областей изображения или видео. Мы также применяем информационно-теоретический анализ, который подтверждает эффективность нашего подхода. Решение EVTP-IVS целенаправленно уменьшает требования к вычислительным ресурсам без потери качества, что делает его пригодным для применения в реальном времени. #### Результаты Мы провести эксперименты на нескольких стандартных IVS-benchmarks, включая образцы изображений и видео. Наши результаты показывают, что EVTP-IVS дает скорость выполнения задачи до 5 раз выше на видео-задачах и до 3,5 раз на изображениях, сохранив при этом около 80% токенов. Это приводит к значительной экономии времени и ресурсов при сохранении высокой точности. Метод EVTP-IVS также показал лучшие результаты по сравнению с другими методами упрощения вывода, в том числе с теми, которые используют более сложные архитектуры или методы. #### Значимость Предлагаемый метод EVTP-IVS имеет широкие возможности применения в сферах, требующих высокой производительности и эффективности. Например, это может быть использовано в робототехнике, автоматизированной работе, в задачах анализа видео на требовательных устройствах или в ситуациях, где ресурсы вычислений ограничены. Наш подход не только уменьшает стоимость вычислений, но и улучшает производительность в реальном времени, что открывает

## Контекст Стратегическое разумение является ключевым аспектом искусственного разума, определяющим успешность взаимодействия роботов с окружающим миром. Оценивать этот аспект чрезвычайно сложно, так как существующие методы часто основываются на метриках эффективности, которые оказываются недостаточно надежными из-за разнообразия поведенческих моделей противников и структур игр. Недостаток универсальных методов по evaluation стратегического разума значительно ограничивает возможности интеллектуальных систем внедряться в реальные приложения. Для решения этой проблемы, мы предлагаем **CHBench** — новый фреймворк для оценки стратегического разума, основанный на моделях когнитивного хиерархии, известных из экономической теории. Наша гипотеза заключается в том, что агенты имеют ограниченное разумение, то есть различные агенты применяют разные уровни рациональности в своих решениях. ## Метод CHBench представляет собой трехфазную систематическую модель для оценки стратегического разума. В первой фазе мы выбираем 15 нормальных игр, структура которых позволяет выявить различные уровни стратегического разума. Во второй фазе, мы используем данные из шести современных глубоких нейронных сетей (LLMs), обученных различным типам задач, чтобы получить многообразие стратегических моделей. Затем, в третьей фазе, мы применяем эти модели для систематического тестирования поведения LLMs в разных ситуациях. Использование этой модели позволяет установить не только качество поведения LLMs, но и выявить влияние различных механизмов (например, чат-функции и памяти) на их стратегическое решающие способности. ## Результаты Мы провели эксперименты, используя CHBench для оценки шести современных LLMs в 15 играх. Результаты показали, что LLMs показывают схожую стратегическую работу в разных ситуациях, что confirmeaza логику фреймворка. Мы также провели эксперименты, которые показали, что Chat Mechanism сильно затрудняет стратегическое разумение, но Memory Mechanism улучшает его. Эти результаты подтверждают, что CHBench представляет собой надежный инструмент для оценки стратегического разума LLMs, с возможностью применения в различных прикладных задачах. ## Значимость CHBench может быть применен в различных прикладных областях, включая разработку и оценку стратегических алгоритмов, ботов для игр, систем управления и даже в сфере роботов-консультантов. Он предлагает новый подход к оценке стратегии, который не зависит от конкретных метрик эффективности. Это позволяет оценивать стратегическое разумение llms с более широким перспективным взглядом, с учетом разных моделей рациональности. Мы так

## Контекст В последние годы выражающееся увеличение количества видеоданных, собранных методом видеосъемки, обусловило развитие многообразных моделей, ориентированных на анализ и понимание такого типа данных. Одной из главных проблем в этой сфере является создание моделей, которые могут эффективно использовать видеоданные для генерации моделей движений. Одним из наиболее актуальных подходов является видео-подкрепленная модель генерации трехмерных движений, которая может обнаружить и использовать знания из больших баз данных видео для улучшения генерации движений. Однако существуют значительные проблемы, связанные с ограниченностью данных для обучения, ошибками во время генерации и высоким уровнем комплексности процесса. Эти проблемы привели к развитию моделей, которые могут использовать видео для повышения качества генерации трехмерных моделей движения. ## Метод Метод, представленный в работе, называется **VimoRAG**. Это новая рама, ориентированная на видео, которая использует возможности видео-подкрепленных моделей для улучшения генерации трехмерных движений. Рама включает несколько ключевых компонентов, таких как **Gemini Motion Video Retriever**, который отвечает за эффективное выявление и выборка 2D моделей движения из базы данных видео, и **Motion-centric Dual-alignment DPO Trainer**, который укрепляет связь между выбранными моделями движения и генерируемыми трехмерными моделями движения. Эта архитектура позволяет VimoRAG решать два ключевых проблемы: (1) повышение эффективности модели поиска 2D движений, которая отличает позы и действия, и (2) уменьшение ошибок, возникающих в процессе генерации движений в результате неудачных выборок. Таким образом, VimoRAG предлагает совершенствованный подход к видео-подкрепленной генерации трехмерных моделей движения. ## Результаты Результаты исследований показывают, что VimoRAG существенно повышает качество генерации трехмерных моделей движения в сравнении с существующими моделями. Эксперименты проводились на большом объеме видеоданных, включая широкую палитру 2D моделей движения. Использование видео-подкрепленной модели позволило VimoRAG различать различные типы движения и позы в видео, что приводило к более точной и качественной генерации трехмерных моделей движения. Результаты показывают, что VimoRAG существенно повышает качество генерации движений, даже при ограниченном количестве данных для обучения. Это указывает на эффективность этого подхода в решении проблем, связанных с ограниченностью данных и ошибками во время генерации. ## Значимость Разработанная модель VimoRAG имеет большой потенциал в различных областях, таких как

Описание: ## Контекст Реализация персонализированной медицины на масштабах требует методов, которые могут извлечь сводки из длительных пациентских историй, представленных в виде последовательностей медицинских событий. Особенно обнадеживают в этом плане модели основательного типа, обученные на больших медицинских базах. Методы такого рода могут способствовать эффективному выявлению закономерностей в медицинских данных и их применению для решения разных задач в сфере клинического управления и повышения качества здравоохранения. ## Метод Мы представляем Cosmos Medical Event Transformer (CoMET) - новую семейство декодерных моделей преобразователей, обученных на огромных масштабах с помощью данных о медицинских событиях. Используя Epic Cosmos, который включает в себя медицинские истории более 300 миллионов пациентов в 310 здравоохранных системах, мы обучили модель CoMET на базе 118 миллионов пациентов, отражающих 115 миллионов медицинских событий (151 миллиардов токенов). Кроме того, мы провели наиболее широкий компьютерный эксперимент для моделей медицинских событий, выявляя силуэтные зависимости между размером модели, количеством вычислений и объемом обучающих данных. Модели CoMET были подготовлены с помощью различных мощностей (до 1 миллиарда параметров), чтобы оптимизировать вычисления для различных задач. ## Результаты Мы экспериментально проверили CoMET на 78 реальных задачах, таких как предсказание диагноза, прогноз болезни и оптимизация здравоохранения. Модель показала выдающиеся результаты, наблюдая закономерности повышения качества с ростом размера модели и объема обучающих данных. Особенно заметно был ее превосходство над задачеориентированными моделями, которые требуют задачи-специфической настройки, а также над такими методами, как парусь или шаотренировки. В целом, CoMET также показала свои преимущества в ситуациях необходимости быстрого решения задач, работая без дополнительных данных или примеров. ## Значимость Модель CoMET может быть применена во многих сферах, включая клиническое принятие решений, оптимизацию линий здравоохранения и повышение пользовательских опытов. Один из основных преимуществ CoMET заключается в том, что она может быть использована для повышения качества работы системы здравоохранения, без необходимости сложных настроек модели. Это может привести к более быстрому развитию разработок в сфере здравоохранения и снижению количества ошибок. ## Выводы Мы доказали, что модель CoMET, основанная на авторегрессии, может эффективно предсказывать следующие медицинские события, помогая улучши

## Контекст В посттренировочном этапе модели естественного языка (NLP) становится важной задачей управления и оптимизацией смеси инструкций, используемых для оптимизации моделей с помощью многозначных данных. Эта задача возникает из-за того, что всё больше инструкционных данных появляется в ходе тренировки моделей. Эти данные могут быть несовместимыми, несогласованными, или потреблять различные ресурсы, что приводит к вызовам в эффективности процесса обучения. В этой статье, мы проводим исследование вопроса оптимального управления и выбора смеси инструкционных данных в ходе обучения моделей, чтобы улучшить их качество и эффективность. ## Метод Мы представляем DynamixSFT, динамическую и автоматизированную методику оптимизации смеси инструкционных данных. Метод основывается на формулировке задачи как многорукий бандит (multi-armed bandit), что позволяет сбалансированно распределить ресурсы между различными ресурсами. Мы вводим Prior-scaled Boltzmann Exploration, чтобы гарантировать, что новые выборки сохраняют природные пропорции в исходном наборе данных, чтобы сохранить разнообразие и покрытие. Для оценки вклада каждого ресурса в улучшение модели мы используем легковесную модель 1-Step Look-ahead Reward, которая принимает во внимание вклад каждого набора в процесс обучения. ## Результаты Мы проводим эксперименты с DynamixSFT, используя набор данных Tulu-v2-mixture, состоящий из 16 инструкционных наборов. Мы сравниваем результаты с другими методами, такими как uniform sampling и vanilla Boltzmann Exploration. Наши результаты показывают, что DynamixSFT улучшает качество модели на до 2.2% в 10 разных бенчмарковых задачах. Мы также предоставляем анализ и визуализации, подробно описывающие динамику нашего метода и влияние каждого компонента на полученные результаты. ## Значимость Метод DynamixSFT может использоваться в различных областях, где требуется высокая эффективность обучения моделей со сложными инструкциями, например в системах распределенного обучения, в области генеративных моделей и в области оптимизации моделей для конкретных задач. Наш метод демонстрирует преимущества при использовании динамического управления смесью данных, что может привести к повышению качества моделей без значительных изменений архитектуры. Это открывает новые возможности для улучшения процесса обучения в целом. ## Выводы Мы представили DynamixSFT как мощный метод для оптимизации смеси инструкционных данных в процессе обучения моделей. Наши результаты показывают, что данный подход может значительно улучшить качество моделей без значительного увеличения ресурсов. В будущем, мы планируем расширить применение DynamixSFT на другие типы моделей и данных, а также улучшить его адаптацию в ситуациях с б

#### Контекст Diffusion Large Language Models (dLLMs) представляют собой неоткрытый поток информации, отличающийся уникальным подходом к обучению и интерпретации. Однако пока что недостаточно изучена их безопасность, которая является ключевой задачей в их применении. Это создает мотивацию для разработки систем, обеспечивающих безопасность и эффективность в их работе, так как безопасное применение dLLMs в реальной среде обеспечивает доверие к их решениям и снижает риск нежелательных последствий. #### Метод Мы проводим тщательный анализ безопасности dLLMs, описывая критические особенности их генерирования. Методом глубокого анализа мы выявляем критические точки в процессе генерирования, помогающие сохранить безопасность выдаваемых ответов. Для обеспечения безопасности разрабатывается новая методика - Middle-tOken Safety Alignment (MOSA), которая направлена на прямое выравнивание структуры модели к безопасным отказам. Мы применяем к этому подходу методы реINFOнифорсментной машинной обучаемости, чтобы усилить эффективность. #### Результаты Мы проводим эксперименты с двумя наборами данных, представляющими собой базовые тесты на безопасность dLLMs. Метод MOSA показывает выдающиеся результаты, быстро и эффективно обеспечивая безопасность модели. Мы проводим сравнение с другими методами, показывая превосходство MOSA в рефузе безопасного генерирования. Также проводим эксперименты на тестировании универсальных знаний, таких как кодинг, математика и общие задачи реального мира. Результаты демонстрируют высокую эффективность и безопасность dLLMs с MOSA. #### Значимость Метод MOSA имеет множество потенциальных применений, включая технические решения, безопасность и создание безопасных моделей языковой модели. Он предлагает уникальное преимущество в своих свойствах, особенно в защите от внешних воздействий. Этот подход может сыграть важную роль в развитии безопасности и улучшении практических решений для охраны моделей данных. #### Выводы Разработанный подход MOSA открывает новые возможности для улучшения безопасности dLLMs и другого применения технологий моделирования языка. Мы планируем продолжить развитие этого подхода, ориентируясь на расширение его потенциала и применения в различных сферах. Эти найденные результаты станут основой для будущих исследований в области безопасности моделей языковых моделей.

## Контекст В статье рассматривается область логического разума в крупных языковых моделях (LLMs), которая широко используется в задачах связанных с принятием решений, доказательствами и анализом. Одним из главных задач данной области является улучшение транспарентности и интерпретируемости решений, получаемых моделями. Несмотря на высокую точность LLMs в простых задачах, в сложных задачах, требующих навигации по множеству правил и ограничений, их поведение часто остается неочевидным. Этот факт приводит к необходимости в разработке методов, обеспечивающих более прозрачное понимание логического моделирования. Мотивация для разработки новых подходов к логическому рассуждению в LLMs опирается на эти проблемы. ## Метод Методом решения данной проблемы является **Symbolic-Aided Chain-of-Thought (CoT)** — усовершенствованный подход к стандартной цепочке мышления. Основная идея заключается в интеграции символических представлений в маловыборочные (few-shot) подсказки, что позволяет структурировать решение задач с использованием последовательной стратегии. Эти символические структуры помогают делать модели более ясными, позволяя понять их логическую структуру. Архитектура метода не требует итеративного подхода, а вместо этого, основывается на неитеративном, но структурированном процессе рассуждения. Чтобы оценить эффективность этого подхода, были проведены эксперименты на четырёх выборках данных: ProofWriter, FOLIO, ProntoQA и LogicalDeduction. ## Результаты В ходе экспериментов было показано, что Symbolic-Aided CoT позволяет значительно улучшить логическое моделирование LLMs. Метод показал свою эффективность в сравнении с классическим CoT, особенно в задачах, требующих работы с множеством правил и ограничений. На двух из четырёх выборок (ProntoQA и LogicalDeduction) Symbolic-Aided CoT показал существенное превосходство над традиционным CoT. Также были проанализированы результаты на разных размерах моделей, что подтвердило гибкость и универсальность этого подхода. ## Значимость Применение данного подхода может быть реализовано в различных областях, где необходима прозрачность и контролируемость логических решений, таких как бизнес-анализ, юридическое моделирование, информационные системы. Одним из преимуществ является улучшение транспарентности и интерпретируемости, что может повысить доверие к решениям, сделанным LLMs. Этот подход также может иметь потенциал для создания более эффективных систем, которые могут быть легко анализированы и модифицированы для конкретных задач. ## Выводы Symbolic-Aided Chain-of-Thought представляет собой эффективный подход к улучшению логического моделирования в

#### Контекст Visual question answering (VQA) — это область искусственного интеллекта, где модели пытаются ответить на вопросы, касающиеся изображений, используя естественный язык. Ответы могут быть подкреплены естественным языковым объяснением (NLE), чтобы сделать модели более прозрачными и понятными. Однако многие VQA-NLE-системы склонны к несогласованности в своих выводах и неполноте в понимании контекста, что означает, что они могут достичь конclusion без полной осмысленности или понимания изображений и вопросов. Это ставит под сомнение надежность и безопасность таких систем. Мы предлагаем рассмотреть эти проблемы, выявив их источник и предложив методы их устранения. #### Метод Мы разработали два типа атак, чтобы эмпирически продемонстрировать проблемы в VQA-NLE. **Первая методика** — это минимальное изменение вопроса с использованием adversarial attack, чтобы вызвать несогласованные выводы. **Вторая методика** — это минимальное изменение изображения, использующее атаки на небольшие области, чтобы вызвать спурвидные или противоречивые ответы, несогласованные с исходным контекстом. Оптимизируя эти методики, мы моделируем типичные ситуации, где модели VQA-NLE могут достигнуть неверных выводов. Мы также предлагаем **метод защиты**, основанный на внешнем знании, который позволяет улучшить robustness и предотвращать такие проблемы. #### Результаты Мы проводили эксперименты на двух стандартных бенчмарках VQA, используя две модели NLE (Одна из них — VQA-Counterfactual Explanations). Наши атаки демонстрировали способность вызвать несогласованные выводы и противоречивые ответы в значительных пропорциях. В сравнении с базовыми моделями, мы оказали, что наши методы действительно выявляют уязвимости в VQA-NLE. Метод защиты, основанный на внешнем знании, показал значительные улучшения в метриках robustness, сократив количество несогласованных выводов на значительные проценты. #### Значимость Наши результаты показывают, что VQA-NLE-системы могут стать жертвами несогласованности и недостаточного понимания контекста. Это может привести к ошибкам в принятии решений, что имеет критические последствия в задачах, требующих высокой надежности. Наши методы защиты могут быть применены в различных областях, таких как проверка качества видео-изображений, системы безопасности, и медицинские приложения. Мы считаем, что наша работа может способствовать повышению надежности и безопасности VQA-NLE, и дальнейшие исследования должны сосредоточиться на повышении robustness и точности в обучении VQA-NLE системам. #### Выводы Мы выявили и продемонстрировали проблемы несогласованности и неполного понимания в VQA-NLE. Наши атаки эффективно выявили эти узкие