## Контекст В настоящее время визуальная ментальная имитажирование считается одним из ключевых способов решения задач, требующих сложного когнитивного поведения. Однако, существуют теории, согласно которым некоторые типы задач могут быть решены без визуального восприятия, а скорее с использованием пропозиционального рассуждения. Участники исследований часто утверждают, что данные задачи не могут быть выполнены без визуальной формы восприятия. Это ставит под сомнение возможность выполнения таких задач с использованием пропозиционального рассуждения. В данном исследовании предлагается новый подход для оценки таких когнитивных процессов в искусственных системах. ## Метод Для проведения исследования были использованы современные технологии в области глубокого обучения и машинного зрелища. Авторы создали новый набор парных изображений, которые были использованы в тестовых задачах. Для тестирования LLMs был применен метод визуального рассуждения, позволяющий изменять изображения в зависимости от выполненных трансформаций. Был также создан референсный тест для людей, чтобы сравнить их результаты с результатами LLMs. Эксперименты проводились на нескольких моделях текстовых LLMs с разным количеством токенов. ## Результаты На основе результатов экспериментов было обнаружено, что лучшие модели LLM могут решать задачи, которые, по идее, требуют визуальной ментальной имитажирование, с уровнем выполнения, превосходящим средний уровень человеческого выполнения. Было обнаружено, что лучшие модели показали высокую эффективность при использовании большего количества токенов для рассуждения. Также было обнаружено, что лучшие LLMs могут показать более высокий результат, чем человеческий уровень, при условии достаточного объема рассуждения. ## Значимость Найденные результаты могут иметь важное значение для развития теорий о визуальных ментальных имитажированиях. Они показывают, что некоторые задачи, которые ранее считались визуально-зависимыми, могут быть выполнены без визуального восприятия, а скорее с помощью пропозиционального рассуждения. Это может иметь значительное значение в развитии новых моделей и технологий, которые могут быть использованы в разных областях, таких как автоматизация, искусственный интеллект, робототехника и многие другие. ## Выводы В итоге, данное исследование демонстрирует, что лучшие модели LLM могут выполнять задачи, которые, по идее, требуют визуальной ментальной имитажирование, используя пропозициональное рассуждение. Это открывает новые возможности для развития искусственного

## Контекст В последние годы атаки на тексты, основанные на адверсарских методах, стали возникать все чаще в области естественного языкового процессинга (NLP). Эти атаки нацелены на то, чтобы подделать или манипулировать результатами текстовых классификаторов. Чтобы противостоять этим угрозам, были разработаны модели, определяющие такие атаки. Эти модели не только помогают обнаружить недостоверные данные, но и могут использоваться в качестве дополнительного этапа проверки для NLP-систем. Однако пока что недостаточно изучено вопрос об эффективности и надежности таких моделей анализа атак. Это подрывает их доверие как в академической области, так и в промышленности. Мы предлагаем новую угрозу, RedHerring, которая направлена на снижение надежности моделей атак, при этом не затрагивая надежность классификатора. ## Метод RedHerring — это новый тип атаки, предназначенный для сдерживания моделей атак. Он состоит в том, чтобы внести изменения в текст, чтобы модель атак ошиблась в определении, при этом сохранив правильный вывод классификатора. Метод RedHerring использует специальные стратегии для добавления изменений, которые не отражаются на конечном результате, но приводят к неверному определению моделью атак. Мы проводили эксперименты на 4 различных датасетах, применяя 3 модели атак и 4 классификаторов. Наши тесты показали, что RedHerring может снизить точность модели атак до 71%, при этом не влияя на точность классификатора или даже улучшая её. ## Результаты Мы проверили нашу модель на нескольких датасетах, включая IMDB, SST-2, AG News и Yelp. Мы модифицировали тексты для запутывания модели атака, при этом сохраняя верность классификатора. Наши результаты показали, что RedHerring может снизить доверие к модели атака до 71%, при этом не затрагивая или даже улучшая точность классификатора. Эти результаты показали, что RedHerring может стать серьезной угрозой для текущих моделей атак и показали необходимость разработки новых методов защиты. ## Значимость RedHerring может иметь значительное влияние на различные области, такие как безопасность текстовых моделей, моделирование предметных областей и проверка подлинности текста. Она показывает, что модели атак могут быть использованы не только для того, чтобы определить недостоверные данные, но и для того, чтобы опутать их. Этот подход может быть использован для раскрытия недостатков в текущих моделях атаки и для повышения их надежности. Мы также предлагаем простую внедряемую защиту, которая может увеличить доверие к моделям до 20-30%, не требуя изменений в реализации классификатора или модели атаки. ## Выводы Наши исследования показали, что RedHerring может быть эффективно использована для сни

## Контекст Область исследования, посвященная созданию атак на текстовые модели, является ключевой для оценки работы естественных языковых моделей (NLP) на прочность. Несмотря на то, что такие атаки помогают исследователям уязвимости моделей, они становятся все более сложными при работе с современными трансформер-моделями. Эти модели требуют больших вычислительных ресурсов для эффективного тестирования атак. Это особенно заметно для исследователей с ограниченными ресурсами, такими как доступ к GPU. Традиционные методы, такие как BinarySelect и GreedySelect, хотя и эффективны, но часто требуют много запросов для того, чтобы получить эффективные атаки. Это создает серьезные проблемы для исследователей, которые не могут позволить себе такие затраты на ресурсы. Для решения этой проблемы, предлагается два новых подхода, которые объединяют сильные стороны предыдущих алгоритмов. ## Метод Метод Hybrid Select является комбинацией BinarySelect и GreedySelect с использованием размышления о том, какой метод лучше подходит для той или иной ситуации. Для этого вводится размерный порог, при котором один из методов (Binary или Greedy) будет применен. Это позволяет оптимизировать выбор метода в зависимости от конкретной задачи. Метод Dynamic Select, в свою очередь, работает по-другому, оптимизируя выбор методов Greedy и Binary в зависимости от длины текста. Это подход решает проблему, когда один из методов может быть более эффективен на определенных длинах текста. Эти два метода, Hybrid и Dynamic Select, могут быть использованы на разных уровнях (токен, предложение, и т.д.) для создания более эффективных текстовых атак с меньшим количеством запросов. ## Результаты Исследователи проверили два новых метода на 4 разных датасетах и 6 различных моделях. Они сравнивали Hybrid и Dynamic Select с исходными BinarySelect и GreedySelect. На тестировании вы most of the cases была проверена эффективность и экономия на запросах. Например, на одной из моделей, Hybrid Select позволил сократить количество запросов на 25.82% в среднем, при этом сохранив эффективность атаки. Этот подход показал себя эффективнее для различных моделей, в том числе для LLMs. Dynamic Select показал похожие результаты, но имел некоторые ограничения в случае очень длинных текстов. ## Значимость Предложенные методы Hybrid и Dynamic Select представляют собой значительный шаг в направлении улучшения текстовых атак. Они могут использоваться во многих областях, таких как оценка уязвимости моделей, моделирование надежных текстовых систем и снижение риска атак на текстовые модели. Эти методы позволяют экономить ресурсы для исследователей, уменьшая количество запросов, необходимых для того, чтобы протестировать уязвимость моделей. Это может сде