## Контекст Phishing — это подмена авторитетного источника со склонностью к мошенничеству, направленная на извлечение чувствительных данных от пользователей. Несмотря на развитие технологий, phishing-атаки остаются одной из самых активных угроз в интернет-безопасности. Они направлены как на физические, так и на юридические лица. Данное исследование фокусируется на разработке эффективных методов по детектированию phishing-атак. Основная проблема заключается в том, что существующие методы часто недостаточно точны и не обладают транспарентностью, что снижает их надежность. Это компрометирует их применение в реальных ситуациях. Мотивация заключается в разработке моделей, которые обеспечат высокую точность, гибкость и понятность решений. ## Метод Для детектирования phishing-атак используются модели, оперирующие на уровне символов (character-level). Три модели, использованные в исследовании, включают: CharCNN (Convolutional Neural Network), CharGRU (Gated Recurrent Unit) и CharBiLSTM (Bidirectional Long Short-Term Memory). Модели адаптированы для анализа текста на уровне символов. Использованная для обучения и тестирования датасет состоит из электронных писем, собранных из различных источников. Эталонные модели сравниваются в трех сценариях: (i) стандартном обучении и тестировании, (ii) обучении стандартными данными и тестировании с адверсарными атаками и (iii) обучении с адверсарными примерами и тестировании. Для оценки вычислительной эффективности используется строгая ограниченная модель, которая может быть реализована в виде браузерного расширения. ## Результаты Для стандартного сценария все модели показали высокую точность, но CharGRU (Char-GRU) проявил себя как самая удачная модель в последних двух сценариях. Все модели оказались восприимчивы к адверсарным атакам, но повышение результатов при добавлении адверсарного обучения позволило значительно улучшить их устойчивость. Для улучшения понимания решений моделей, внедрена техника Gradient-weighted Class Activation Mapping (Grad-CAM), позволяющая визуализировать вклад каждого символа в вывод модели. Эта возможность дает пользователям большее уверенность в работе моделей. ## Значимость Результаты имеют большое значение для различных областей, включая безопасность интернета, технологии мониторинга и автоматического анализа электронной почты. Детальный подробный анализ позволяет понять, какие аспекты каждого письма влияют на вывод моделей. Этот подход может быть применен в браузерных расширениях, предотвращающих phishing-атаки, и дает возможность лучшего понимания стратегий атак. Этот подход повышает потенциал для создания более надежной системы безопасности для пользователей

## Контекст Рейнфорсментное обучение (RL) позволяет тренировать агентные модели, двигающиеся за пределами статичных бенчмаров к динамичным, многократным взаимодействиям. Однако их реальное значение заключается в возможности помогать пользователям. Диверсификация и динамика пользовательских взаимодействий создают серьезные вызовы. Мы предлагаем UserRL — универсальный фреймворк для обучения и оценки пользовательских способностей с помощью стандартизированных сред обучения (Gym) и симуляторов пользователей. Это позволяет изучить влияние различных формулировок награды и моделей пользователей на обучение. ## Метод UserRL основывается на симуляторах пользователей для моделирования различных стилей взаимодействия. Мы изменяем награды на каждом шаге и по ходу взаимодействия, анализируя их влияние на обучение через алгоритм Gradient-Based Policy Optimization (GRPO). Мы использовали модели Qwen3 разных размеров для изучения этих эффектов. Кроме того, мы сравнили открытодоступные симуляторы (например, Qwen3-32B) с сильнейшими симуляторами (например, GPT-4o) для оценки эффективности. ## Результаты Наши эксперименты показали, что: (i) запуск RL с холодного старта, используя только сильный симулятор, позволяет краткосрочно приобрести базовые навыки, но не достаточно для долгосрочных улучшений; (ii) целенаправленная оценка траекторий (включая изменение веса разных шагов) значительно улучшает качество обучения и эффективность взаимодействий; (iii) открытые симуляторы, несмотря на меньшую мощность, оказываются практичными и трансферируемыми для реальных сценариев. Эти находки подтверждают, что тщательно проработанные награды и симуляторы моделей пользователей являются ключевыми факторами, успешной тренировки агентов. ## Значимость UserRL может применяться в различных областях: улучшения пользовательских систем, обучение моделей для чатботов, систем поддержки решений и т.д. Его преимущества включают в себя универсальность, легкость развертывания и эффективность. Этот фреймворк может влиять на развитие интерактивных агентов, делая их более эффективными и полезными для пользователей. ## Выводы Мы показали, что UserRL эффективен для тренировки моделей, взаимодействующих с пользователями. Он может стать значительным шагом в развитии пользователь-центричных агентов. Мы планируем расширить фреймворк, включив более сложные модели пользователей и более сложные сценарии взаимодействия.

## Контекст Обработка и анализ данных постоянно набирает обороты, в том числе в сфере обучения с подкреплением. Одним из важных заданий является обнаружение и извлечение таблиц из документов, которое имеет широкое применение в различных областях, таких как бизнес-анализ, документооборот и ИИ-приложения. Однако этот процесс часто связан с высокими затратами на аннотацию данных, которые необходимы для обучения моделей. Активное обучение (Active Learning, AL) предлагает эффективное решение для этой проблемы, позволяя снизить затраты на аннотацию, выбирая самые полезные образцы для изучения модели. Однако многие текущие AL-методы ориентированы на обычные задачи классификации, а не на задачи обнаружения объектов, таких как обнаружение таблиц. Наша исследовательская группа рассматривает возможности использования AL для обнаружения таблиц в документах, чтобы улучшить эффективность и точность. ## Метод Мы предлагаем инновационный подход к обнаружению таблиц, основанный на активном обучении. Метод включает следующие этапы: 1. **Инициализация**: Мы начинаем с набора экземпляров, аннотированных вручную, который используется для инициализации модели. 2. **Обучение модели**: Модель обучается на этом начальном наборе данных, чтобы выявить признаки для дальнейшего выявления таблиц. 3. **Выбор образцов для аннотации**: Алгоритм активного обучения выбирает образцы, которые считаются наиболее важными для модели на основе мер информативности и разнообразия. Этот выбор основывается на сочетании некоторых метрик, таких как неопределенность и множественность. 4. **Обучение и повторение**: Аннотированные образцы добавляются к обучающему набору, и процесс повторяется, чтобы улучшить точность модели. Для оценки эффективности нашего подхода мы использовали два бенчмарк-данных: TableBank-LaTeX и TableBank-Word. Эти данные представляют собой таблицы, созданные с помощью различных текстовых процессоров, что дает разнообразие в стилях и структурах таблиц. Мы проводим эксперименты с двумя современными архитектурами обнаружения таблиц: CascadeTabNet и YOLOv9. ## Результаты В ходе экспериментов мы сравнили нашу AL-методику с традиционным случайным выбором образцов для аннотации. Наши результаты показывают, что AL-метод эффективнее, снижает затраты на аннотацию при ограниченном бюджете и позволяет повысить точность. На двух датасетах TableBank-LaTeX и TableBank-Word наши результаты по метрике mAP (mean Average Precision) показали, что AL-метод дает значительные пользы в сравнении с случайным выбором. Мы также сравнили нашу модель с другими AL-методами и установили, что наш подход дает более высокий mAP на ограниченном бюджете аннотации. ## Значимость Наш подход мо

## Контекст Математическое рассуждение является задачей, вызывающей значительные трудности для Больших Языковых Моделей (LLM), в силу необходимости многоэтапного мышления и интеграции абстрактных понятий. Несмотря на то, что тестовые техники, ориентированные на масштабирование во время тестирования, опираются на высококачественные, сложные задачи, недостаток уровня библиотек олимпиадных задач остается ограничительным фактором. Мы предлагаем CogAtom, новую модель, основанную на понятии «когнитивных атомов», для синтеза математически точных и когнитивно разнообразных задач. В отличие от предыдущих подходов, CogAtom рассматривает построение задач как процесс выбора и комбинирования основных способностей мышления, «когнитивных атомов», извлеченных из ручных решений. Алгоритм случайного блуждания, продвигающийся по сетке связности, позволяет экспериментировать с комбинациями этих атомов, чтобы достичь богатой структуры и логической звености в решениях. Это уникальный подход, обеспечивающий масштабируемость, качество и дизайн задач, соответствующий высокому уровню сложности. ## Метод CogAtom состоит из двух основных компонентов: синтеза когнитивных атомов и синтеза задач. Алгоритм извлечения когнитивных атомов отталкивается от решений, написанных людьми, и группирует шаги мышления в модули. Каждый модуль характеризуется индивидуальным набором признаков, описывающих его структуру и роль в решении задачи. Для синтеза задач используется метод случайного блуждания в сетке когнитивных атомов. Это позволяет создавать наборы решений, где каждое решение является уникальным и может отличаться по сложности и структуре. Для обеспечения логической целостности и грамматического достоверности задач используется система ограничений. Эта система гарантирует, что сгенерированная задача будет соответствовать реальным математическим нормам и требованиям. Таким образом, CogAtom реализует масштабируемую, диапазонно-контролируемую генерацию задач с высоким уровнем сложности и вариативности. ## Результаты Мы провести эксперименты, сравнивая CogAtom с другими подходами в области генерации задач математического рассуждения. Мы использовали данные, включающие олимпиадные задачи с разным уровнем сложности, от школьных задач до задач олимпиады. Результаты показали, что CogAtom показывает значительное превосходство в аккуратности, глубине рассуждения и разнообразии. Например, CogAtom способен генерировать задачи, которые значительно приближаются по сложности к задачам олимпиады AIME, но при этом демонстрирует более богатую с

## Контекст Область исследования связана с оценкой интеллектуальных систем, развивающихся в области медицины. Существуют системы, обладающие высокой точностью на определенных медицинских бенчмарках. Однако, по мнению авторов, этот успех часто связан с использованием тестирования в условиях высокой нагрузки (stress testing), который показывает значительные проблемы со стабильностью и внутренним здравым суждением систем. Недостаток целостности и логичности ответов, к тому же, подрывает доверие к таким системам. Таким образом, целью исследования является подробное изучение этих проблем, чтобы выявить недостатки существующих методов тестирования и развить более солидные критерии оценки. ## Метод Исследование основывается на тщательном анализе шести ведущих моделей машинного обучения, включая GPT-5, с использованием шести различных медицинских бенчмарков. Методология включает в себя широкий спектр экспериментов, включая удаление ключевых компонентов (например, изображений), изменение текстовых запросов, искусственно созданных ответов, а также сравнение результатов с клиническими стандартами. Архитектура оценки включает клинические рубрики, подготовленные специалистами, чтобы обеспечить сбалансированное и квалифицированное оценочное мнение. Таким образом, исследователи могут измерять не только точность, но и глубину понимания и стабильность результатов. ## Результаты Эксперименты показали, что даже лучшие модели часто являются нестабильными, особенно при изменении ключевых условий задачи. Многие модели демонстрируют "shortcut learning", то есть поиск узких путей для решения задач, вместо глубокого знания. Например, некоторые модели дают правильный ответ даже при отсутствии ключевых частей входных данных, таких как изображения, что демонстрирует отсутствие понимания достаточного объема информации. Кроме того, подтверждено, что различные бенчмарки, несмотря на общую тематику, могут измерять разные аспекты, и их результаты вместе не дают полного представления о реальном уровне готовности системы. ## Значимость Результаты имеют важное значение для многих областей, в частности для медицины, где требуется надежная и безопасная интеллектуальная поддержка для клинических решений. Применение полученных результатов может привести к улучшению методов тестирования и разработки более стабильных моделей. Основные преимущества заключаются в том, что исследование обнаружило слабости существующих моделей и выявило недостатки в существующих бенчмарках, что может привести к более тщательной оценке и развити

#### Контекст В последние годы внимание сообщества AI привлекают видеопонимание и извлечение информации из видео. Эти задачи становятся все более важными с учетом развития технологий для роботов, VR/AR, и AI-поддерживаемых приложений. Однако существующие бенчмарки ограничены видео из индорных сцен или коротких внедорожных путешествий. Длительные путешествия, сложные задачи планирования и перемещения по GPS-трекам остаются недооцененными. Многомерное понимание видео, включая геоспациальное и временное контексты, является ключевым для развития следующего поколения моделей МЛЛМ. #### Метод VIR-Bench представляет собой бенчмарк, состоящий из 200 долговременных видео, покрывающих различные географические регионы. Он оценивает модели по возможности воспроизводить путешествия, рассчитывая географические маршруты, временные последовательности и релевантные объекты. Метод основывается на создании синтетических контекстов, анализе потока видео и использовании технологий текстового понимания. Архитектура VIR-Bench включает в себя скелетный рендеринг, многомодальный контекст-анализ, а также методы оценки точности и полноты реконструкции. #### Результаты Эксперименты проводились на 200 видео, с использованием нескольких современных МЛЛМ. Оценивались показатели точности и полноты реконструкции путешествий. Большинство моделей показали низкие результаты, особенно при высокой сложности исходных видео. Модели способны распознавать простые географические маршруты, но предсказывать длительные траектории и повторять взаимодействие с объектами остаются затруднительными. #### Значимость Вир-Бенч широко может применяться в области AI для путешествий, обеспечивая базу для развития моделей, умеющих передвигаться по сложным географическим маршрутам. Его особенностью является возможность тестирования моделей на реальных траекториях и реконструкции пользовательских путешествий. Он не только улучшает понимание геоспациальных и временных задач, но также может использоваться для создания новых типов приложений в области эмбедид AI. #### Выводы VIR-Bench демонстрирует значительную сложность в задаче реконструкции траекторий в долговременных видео. Он позволяет тестировать модели на высокой сложности и создает новые возможности для развития AI в путешествиях. В дальнейшем, бенчмарк будет расширен для поддержки новых моделей и задач, таких как взаимодействие с пользователем и развитие AI-агентов для путешествий.

#### Контекст Дуальные энкодеры (DE) — модели, сопоставляющие входные запросы и документы с помощью векторных представлений, широко используются в области информационного поиска из-за их простоты и масштабируемости. Однако ограничения римановой геометрии, в которой эти модели работают, приводят к потере точности в задачах, требующих высокой точности в выборке. Одна из таких задач — hierarchical retrieval (HR), в которой документы имеют иерархическую структуру, и для каждого запроса требуется найти все документы, входящие в его иерархию. В этой работе рассматривается возможность применения дуальных энкодеров в таких задачах и изучается их ограниченная эффективность при работе с документами, находящимися далеко в иерархии. #### Метод Мы исследуем свойства DE-моделей в HR и устанавливаем теоретические ограничения на их работу в зависимости от глубины иерархии и количества документов. Для решения недостатка точности в работе с документами далекого уровня иерархии предлагается метод, состоящий из двух этапов: предварительного обучения (pretraining) и особый рецепт файна-тюнинга (finetune). Эта модель называется **Hierarchical Retriever**. На основе её архитектуры мы стараемся повысить качество работы DE-моделей в задачах HR, когда необходимо выбрать документы, находящиеся глубоко в иерархии. #### Результаты Мы проводим эксперименты на данных организованных в иерархической структуре (WordNet). Мы показываем, что при использовании DE-моделей без рецепта pretrain-finetune, точность задачи HR падает при работе с документами, находящимися далеко в иерархии. Однако при использовании нашего рецепта, точность возврата документов далекого уровня увеличивается с 19% до 76%, не ухудшаясь для ближних документов. Также мы проводим эксперименты на данных релевантности поиска продуктов в интернет-магазине и показываем, что наш метод добавляет качеству работы DE-моделей при выборе подходящего документа. #### Значимость Наш метод может быть применен в различных приложениях, где необходима высокая точность в выборе документов в иерархических структурах, таких как веб-поиск, вопрос-ответ-системы и рекомендательные системы. Одна из ключевых преимуществ — улучшение точности при выборе документов далекого уровня в иерархии. Мы показываем, что наша модель не только повышает качество работы, но и может использоваться в реальной жизни для решения задач в области поиска и рекомендаций. #### Выводы Мы проанализировали ограничения дуальных энкодеров в задачах HR и предложили решение, позволяющее увеличить точность работы этих моделей на документах, находящихся далеко в иерархии. Наши эксперименты показали, что наш метод существенно повышает точность задачи с примен

#### Контекст В последние годы широко распространены технологии на основе Больших Лингвовых Моделей (LLMs), которые успешно применяются во многих областях, от трансляции и автоматизированного письма до моделирования рыночных тенденций. Однако, несмотря на их мощь, эти модели часто сталкиваются с проблемой неопределенности во время процесса сгенерированного текста. Неопределенность может быть вызвана разными факторами, такими как неполнота данных, недостаточность обучения или неверное выражение пользовательских предпочтений. Для улучшения качества результатов и уменьшения нежелательных последствий неопределенности необходимо разработать эффективные стратегии оценки и контроля неопределенности в LLMs. #### Метод В настоящем исследовании мы рассматриваем различные стратегии декодирования, которые могут изменить структуру выходных данных Больших Лингвовых Моделей и, как следствие, повлиять на неопределенность. Методология исследования включает в себя эксперименты с такими стратегиями, как Contrastive Search, Beam Search, Sampling и другие, которые манипулируют предложенными вариантами вывода языковой модели. Мы проводим исследования на разных наборах данных, которые отражают различные типы задач, таких как трансляция, генерация текстов и даже моделирование прогнозируемых рыночных тенденций. Наша цель — изучить, как эти стратегии влияют на неопределенность и качество генерируемого текста. #### Результаты Проведенные эксперименты показали, что стратегия Contrastive Search дает наилучшие результаты в оценке неопределенности во время генерации текста. Эта стратегия способна снизить частоту повторений в тексте и улучшить оценку неопределенности, что делает генерируемый текст более надежным и точным. Тем не менее, результаты этих стратегий могут отличаться в зависимости от того, была ли модель в обучении использована в целом, или только субъектно уточнена с помощью супервайзед файн-тюнинга. Это подчеркивает важность настройки стратегий декодирования в зависимости от конкретного контекста и задачи. #### Значимость Результаты нашего исследования имеют значительное значение в области генерации текста с помощью Больших Лингвовых Моделей. Они могут быть применены в области моделирования текстов, в том числе в сфере моделирования рыночных тенденций, где точность и надежность генерируемой информации критически важны. Кроме того, эти стратегии могут быть расширены и применены в других областях, таких как медицина и юриспруденция, где неопределенность может иметь серьезные последствия. Эти найденные результаты также открывают

#### Контекст Angular Dispersion Accelerates $k$-Nearest Neighbors Machine Translation (k-NN MT) — это исследование в области машинного перевода, нацеленное на улучшение производительности $k$-NN MT. Данный подход к переводу использует внешнюю память, где хранятся представления языковых контекстов в виде векторов. Несмотря на его высокую эффективность, $k$-NN MT страдает от высокой сложности вычислений и большими потреблением памяти, что ограничивает его применение в реальном времени. Основной проблемой является то, что необходимость выполнять быстрый поиск в больших многомерных пространствах, что приводит к узким местам в производительности. Поэтому целью данного исследования является развитие методов, которые улучшают производительность $k$-NN MT, уменьшая или устраняя зависимость от таких ограничений. #### Метод Работа сосредотачивается на изменении свойств внешней памяти $k$-NN MT, а именно, на повышении "angular dispersion" — разброса углов между векторами внешней памяти. Основная идея заключается в том, что распределение токенов по угловым меркам повышает баланс между различными векторами, что в свою очередь ускоряет поиск и улучшает результаты перевода. Алгоритм включает в себя техники, нацеленные на изменение функциональности $k$-NN MT, в частности, увеличивая различия в углах между контекстными векторами. Это достигается за счет изменения характера обучения моделей перевода, чтобы повысить разреженность внешней памяти. #### Результаты Использовались данные из различных машинно-переводных задач, включая различные языковые пары и текстовые корпусы. Были проведены эксперименты с различными модификациями $k$-NN MT, включая изменение размера внешней памяти и других параметров. Наблюдалось улучшение в скорости поиска во внешней памяти при увеличении разброса углов между векторами. Также были подтверждены положительные эффекты на качество перевода, которые были связаны с улучшением распределения контекстных векторов. #### Значимость Результаты данного исследования имеют большое значение для развития $k$-NN MT, так как позволяют увеличить скорость работы и улучшить качество перевода, не прибегая к сложностям, связанным с уменьшением размера внешней памяти или увеличением количества токенов. Данный подход может быть применен в различных областях нотронного перевода, где необходима высокая скорость работы и качество перевода. #### Выводы В ходе работы были доказаны преимущества повышения angular dispersion внешней памяти в $k$-NN MT. Было показано, что данный подход может быть использован для улучшения производительности без ущерба качеству перевода. Будущими направлениями исследований являются расширение применения данной техники к различным моде

#### Контекст Машинное обучение (ML), особенно в сфере генерирующих моделей языка, повсеместно применяется в различных областях. Однако такие модели часто становятся целью атак, в том числе вредоносных. Например, вредоносные акторы могут использовать такие модели для внедрения backdoor-триггеров, которые могут быть активированы за счет конкретных входных данных. Это может привести к выводу вредоносных результатов или действий. Таким образом, исследование методов, позволяющих обнаруживать и локализовать такие вредоносные выходы, является ключевым для обеспечения безопасности и надежности ML-систем. #### Метод Метод, представленный в статье, называется FreqRank и основывается на мутационном подходе. Он использует частоту появления подозрительных подстрок в выходных данных для определения вредоносных субстрок. Для этого FreqRank сравнивает частоту появления таких подстрок в выходных данных с теми, что есть в стандартных, не вредоносных выходных данных. В случае наличия высокой частоты подозрительных подстрок, они относятся к вредоносным. Для локализации backdoor-триггеров FreqRank использует полученные рейтинги, выявляя подстроки, которые влияют на вредоносный результат. Архитектура метода предполагает использование генерирующей модели языка и предоставления подстрок для тестирования их влияния. #### Результаты Чтобы проверить эффективность FreqRank, авторы ввели в работу несколько вредоносных моделей, созданных путем fine-tuning или настройки пользовательских инструкций. Эти модели были применены к трем разным задачам: кода, компиляции и описания кода. Они показали среднюю успешность атаки (Attack Success Rate, ASR) в районе 86.6%. Система FreqRank смогла выделить вредоносные выходы в 98% случаев, отображая их в пяти лучших предложениях. Было также продемонстрировано, что эффективность FreqRank растёт с увеличением количества мутаций и демонстрирует высокую точность даже при малом количестве входных данных, активирующих триггер. Это делает FreqRank 35-50% эффективнее других методов, используемых для локализации вредоносных выходов. #### Значимость FreqRank может быть применен в различных областях, где используются генерирующие модели языка, таких как кодирование, описание и генерация кода. Его особенностью является высокая точность в локализации вредоносных выходов, что позволяет быстро итоговые модели исправить. Это повышает уровень безопасности и надежности таких моделей в реальном мире. Более того, FreqRank может быть использован для контроля качества и оптимизации моделей, выявляя и устраняя возможные уязвимости. #### Выводы Результаты исследований показывают, что FreqRank является эффективным инст