## Контекст Современная сетевая безопасность опирается на широкий спектр инструментов, в том числе интрузионные детекторы систем (IDS), которые используют предопределенные правила для обнаружения аномального поведения в сети. Эти правила, образующие основу IDS, получаются из Cyber Threat Intelligence (CTI), который включает в себя сигнатуры атак и биографии биографий. Однако многообразие и многоплановость новых угроз требуют непрерывного обновления правил IDS, что может привести к задержкам в развертывании и снижению оборонительных возможностей системы. Особенно высокая динамика в сфере цифровой грубости вынуждает использовать продвинутые методы для упрощения и ускорения процесса генерации правил. Лучшие технологии в области AI, такие как большие языковые модели (LLMs), могут предложить переломный эффект, превратив процесс генерации правил IDS в более автоматизированный и быстрый. ## Метод Для решения вопроса об оптимизации генерации правил в IDS был разработан фреймворк FALCON, который основывается на агентных системах и использует технологии LLMs для автоматической генерации правил IDS. Методология FALCTON состоит из нескольких этапов: 1. **Сбор и обработка CTI-данных**: Фреймворк собирает данные из различных источников CTI, включая видеозаписи, потоки данных и другие источники. 2. **Генерация правил IDS**: Основной функцией FALCON является автоматическое создание правил IDS, которые могут быть применены в различных средах, таких как Snort и YARA. 3. **Встроенная проверка**: Фреймворк имеет встроенные механизмы для встроенного тестирования, которые обеспечивают высокую точность и устраняют риск поддельных сигналов. 4. **Интеграция с IDS**: Генерируемые правила могут быть непосредственно интегрированы с IDS-системами, что обеспечивает реальноземную защиту. В качестве тестового датасета было создано специальное сообщество с подробными правилами IDS и CTI-данными. ## Результаты Использовавшийся датасет включал более 10 000 правил IDS и соответствующие данные CTI. Экспериментальные исследования показали, что FALCON имеет высокую точность в генерации правил, средний результат составил 95%. Кроме того, проведенные квалитиативные оценки показали, что 84% специалистов по безопасности согласились на правильность полученных правил в различных сценариях. Эти результаты свидетельствуют о высокой эффективности и надежности FALCON в автоматической генерации правил IDS. ## Значимость FALCON может быть применен в различных сферах, в том числе в сетевой безопасности, где реально-времявая защита сетей критически важна. О

#### Контекст Лингвистические модели, обученные с помощью реинфорсмента, широко применяются в задачах генерации текста, таких как суммирование или диалоговые системы. Одна из основных проблем в данной области — найти эффективные способы обучения моделей с использованием гибкого соотношения качества текста и контроля языка. Одним из популярных подходов является Language Model Reinforcement Learning from Human Feedback (LM-RLHF), который использует знания пользователей для оптимизации моделей. Однако существующие методы, такие как Proximal Policy Optimisation (PPO), страдают от сильной зависимости от интуиции и недостаточной строгости в оптимизации. Таким образом, необходимо развитие методик, которые обеспечат более системный и научно обоснованный подход к решению этой задачи. #### Метод Мы предлагаем новую методику для обучения моделей в контексте LM-RLHF, названную **KL-Regularised Q-Learning (KLQ)**. Метод основывается на актёр-критике архитектуре, где действия определяются как значения лексем, а критик оценивает точность этих действий с использованием квантильного регуляризатора KL. Наш подход отличается от PPO тем, что использует специфическую мотивацию на основе контроля языка, а не просто градиентный подход. Базовый механизм KLQ включает в себя итеративный алгоритм оптимизации, который учитывает множество возможных действий и оценивает их с помощью модели языка. Мы также проводим анализ градиентов и проверяем сходимость наших решений. #### Результаты Мы проводили эксперименты на двух ключевых задачах: суммировании текста и одноразовой диалоге. Для этого использовались две модели языка с различным объемом памяти. Мы сравнили KLQ с PPO по метрикам LM-RLHF и оценкам LLM-as-a-judge. Результаты показали, что KLQ демонстрирует эквивалентную производительность по основной метрике нормализованного дохода, но выдаёт значительно более высокую вероятность победы на LLM-as-a-judge, что указывает на её выигрыш в ситуациях, где необходим высокий уровень контроля языка. #### Значимость Наш метод имеет широкие возможности применения в области генерации текста и моделей языка. В отличие от PPO, KLQ является более строго обоснованным с точки зрения математической теории, что может привести к улучшению понимания и контроля моделей. Благодаря выигрышу в LLM-as-a-judge, KLQ может быть полезным для тех ситуаций, когда требуется высокое качество текста с высоким уровнем контроля языка. Предполагается, что данный подход может быть расширен для решения других задач, в которых необходимо использовать гибкое регулирование языка. #### Выводы Мы представили новый подход к решению задачи LM-RLHF, основанный на методе KL

## Контекст Образовательные учреждения получают каждый год большой объем текстовых отзывов от студентов о курсах, преподавателях и общем опыте обучения. Однако превращение этих отзывов в полезные инсайды представляется сложной задачей. До сих пор не было успешного применения автоматических методов анализа тональности для такого рода данных из-за высокой сложности текстов и необходимости высокой точности в низкоуровневой обработке. **Aspect-based Sentiment Analysis (ABSA)** предлагает уникальный подход, обеспечивая подробный анализ тональности на уровне предложений и фрагментов. Тем не менее, существующие исследования и ресурсы по ABSA сфокусированы в основном на коммерческих данных, в то время как в образовательной сфере доступные данные и исследования очень мало. Необходима высококачественная аннотированная база данных, чтобы способствовать развитию этой недоосвещенной области. ## Метод В работе представлен **EduRABSA**, первый публично доступный аннотированный набор данных ABSA для анализа отзывов об образовании. Он содержит отзывы о курсах, преподавателях и университетах, а также поддерживает все основные задачи ABSA, включая скрытый аспект и скрытая тональность. Мы также представляем **ASQE-DPT**, удобный инструмент для мануальной аннотации данных, позволяющий генерировать многозадачные данные ABSA из одного типа аннотации. ## Результаты Набор данных EduRABSA был создан с помощью ASQE-DPT и содержит 1,6 тысячи обзоров с тремя уровнями аннотации. Эксперименты показали, что EduRABSA эффективно поддерживает все задачи ABSA, включая скрытые аспекты и тональность. Инструмент ASQE-DPT упрощает процесс аннотации, позволяя создавать и делиться данными в хорошем качестве. ## Значимость Набор данных EduRABSA может быть использован в различных областях, таких как образовательный интерфейс, анализ отзывов и моделирование языка. Он предлагает новые возможности для повышения точности и широкого применения ABSA в образовательных наборах данных. Это также открывает пути для развития инструментов и методов для анализа отзывов в образовательных задачах. ## Выводы EduRABSA является первым публично доступным, аннотированным ABSA-набором данных для образовательных отзывов. Он устраняет барьеры для исследователей, обеспечивая высококачественные данные для обучения и тестирования моделей ABSA. Мы надеемся, что наша работа способствует развитию сообщества ABSA и способствует созданию новых ресурсов и инструментов в образовательных задачах.

#### Контекст DropLoRA представляет собой новую модель в области parameter-efficient fine-tuning (PEFT) для улучшения больших языковых моделей, таких как LLaMA. Несмотря на успех LoRA, она ограничена статическим субспектом, что приводит к разрыву в производительности при решении задач факт-чеккинга, логического рассуждения, генерации кода и научного моделирования. DropLoRA целью имеет устранение этой проблемы, используя динамическую оптимизацию субспектов. #### Метод DropLoRA вводит элемент динамического удаления ранга (pruning) между двумя субспектральными матрицами в LoRA. Эта инновация позволяет модели адаптироваться динамически к задаче, превращая статический субспект в динамический. Таким образом, DropLoRA может эффективно использовать ресурсы и улучшить производительность в задачах, требующих большой гибкости. #### Результаты На тестовых данных DropLoRA показала значительные выигрыши в производительности по сравнению с LoRA. Например, при факт-чеккинге и математическом моделировании результаты производительности DropLoRA вышли на 10-15% перед LoRA. Это демонстрирует ее эффективность в решении сложных задач с меньшим потреблением ресурсов. #### Значимость DropLoRA может применяться в различных областях, включая коммерческие приложения, где необходима высокая точность и эффективность. Ее преимущество в том, что она обеспечивает лучший соотношение точности и скорости выполнения, что крайне важно для реального времени. #### Выводы DropLoRA продемонстрировала перспективу в улучшении PEFT-методов, преодолев ограничения статической LoRA. Будущие исследования будут сосредоточены на улучшении динамического удаления ранга и его применении в многомодальных моделях.

## Контекст Технические языковые задачи, такие как определение парафразирования, играют ключевую роль в обеспечении взаимодействия с технологиями на основе языка. Они помогают в понимании смысла текста, в стилевом переводе, в семантической парсинге и в данных повышении. Однако в языках с богатыми морфологическими и синтаксическими вариациями, таких как маратхи (малоресурсный язык Индии), эти задачи представляют собой особые трудности. Ограниченность доступных высококачественных данных для обучения моделей глубокого обучения усложняет процесс создания технологий, поддерживающих маратхи. Это статья описывает создание L3Cube-MahaParaphrase Dataset и применение моделей BERT для решения проблемы определения парафразирования в этом языке. ## Метод Для создания L3Cube-MahaParaphrase Dataset был применен многоэтапный подход. Вначале были собраны пары предложений из разнообразных источников, включая новости, социальные сети и диалоги. Затем эти пары были аннотированы экспертами, которые определяли, является ли предложение парафразом другого. Итоговая выборка состоит из 8000 пар предложений, каждая из которых отмечена как "Парафраз (P)" или "Не парафраз (NP)". Для обучения и тестирования моделей использовалась технология трансформеров, в частности BERT, подготовленная на языке маратхи. Это позволило эффективно определять парафразы и сравнивать результаты с другими моделями. ## Результаты Исследования проводились на двух основных задачах: классификации парафразирования и восстановлении парафразированных предложений. Для обучения моделей BERT были использованы 7000 пар из L3Cube-MahaParaphrase Dataset, а оставшиеся 1000 использовались для тестирования. Модели показали высокую точность в определении парафразирования, демонстрируя высокую степень точности и низкий показатель ошибок. Это указывает на высокую качественную работу моделей на данных маратхи. Также были проведены сравнительные эксперименты с другими моделями, подтвердив преимущества BERT-моделей в этой области. ## Значимость Данный ресурс и модели могут быть применены в многочисленных технологиях, таких как синтез речи, машинный перевод, стилистическая переработка и другие задачи на основе NLP. Благодаря L3Cube-MahaParaphrase Dataset, разработчики могут создавать более качественные модели для маратхи, что обеспечивает лучшую поддержку языка в интеллектуальных системах. Это также подчеркивает важность развития ресурсов для малоресурсных языков, позволяющих им более эффективно взаимодействовать с технологиями. ## Выводы L3Cube-MahaParaphrase Dataset является первым вы

#### Контекст Классификация документов является важной задачей в области обработки естественного языка, которая находит применение в различных сферах, таких как моделирование общественного мнения, мониторинг новостей или анализ документов. Однако существуют реальные проблемы, связанные с классификацией документов продолжительностью более 512 токенов, которые являются ограничением большинства существующих моделей. Трансформер-базированные модели, такие как BERT, проявляют выдачу класса в отношении классических задач текстовой классификации. Однако при работе с документами продолжительностью более 512 токенов, они сталкиваются с ограничениями ввода, высокими вычислительными затратами и снижением точности. Это свидетельствует о необходимости развития методов, оптимизирующих вычислительные ресурсы и улучшающих производительность в соответствии с требованиями классификации документов продолжительностью более 512 токенов. #### Метод Мы предлагаем новую эффективную методологию для классификации документов продолжительностью более 512 токенов с использованием стратегии рейтинга предложений. Метод основывается на трансформер-базированных моделях, которые сначала выполняют рейтинг предложений в документе по их значимости, используя метод TF-IDF. Затем выбираются только наиболее важные предложения, чтобы сократить количество токенов для ввода в модель. Это позволяет сохранить важные части текста, не изменяя структуру модели. Эта методология может быть применена для адаптации моделей, ориентированных на классификацию коротких текстов, к классификации документов продолжительностью более 512 токенов. #### Результаты Результаты экспериментов проводились на датасете MahaNews, содержащем длинные маратские новостные статьи. Мы проверили три стратегии рейтинга предложений: верхние 50%, 75% и 100% предложений. Мы выяснили, что сокращение количества предложений до 50% сохраняет точность классификации на уровне полного документа, при этом снижая время выполнения модели на до 35%. Это показывает, что рейтинг предложений является эффективным методом для эффективного использования ресурсов в классификации документов продолжительностью более 512 токенов. #### Значимость Метод, описанный в нашей работе, имеет широкие применения в различных областях, таких как моделирование общественного мнения, мониторинг новостей и анализ документов. Он позволяет эффективно использовать модели трансформеров для классификации документов продолжительностью более 512 токенов, чтобы улучшить производительность и снизить вычислительные затраты. Этот подход

#### Контекст Область исследования связана с применением методов глубокого обучения в задачах классификации и анализа текста, а также с поиском способов улучшения интерпретируемости моделей. Несмотря на высокую точность современных моделей NLP, их решения часто остаются непонятными для пользователей, что сказывается на доверии к их результатам. В этой статье авторы адресуют эту проблему, сосредотачиваясь на развитии моделей, которые не только демонстрируют высокую точность, но и обеспечивают понятную визуализацию принятых решений. Отдельно отмечается, что существующие подходы к регуляризации моделей часто теряются между компромиссом между точностью и интерпретируемостью. Мотивацией для этой работы является необходимость создания моделей, которые были бы как эффективными, так и прозрачными. #### Метод Авторы предлагают архитектуру двухголовенной нейронной сети, названную RieszNet. Она состоит из двух подсетей: одной, которая предсказывает класс текста, и другой, которая оценивает эффект текстового признака (например, слова) на класс. Эта многозадачная архитектура позволяет одновременно выполнять классификацию и анализ влияния отдельных факторов на результат. Алгоритм призван решать две задачи: точно классифицировать текст и предоставить понятное объяснение решения. Авторы используют RieszMonte Carlo-аппроксимацию для точного вычисления эффектов и улучшают их стабильность и точность. #### Результаты Для проверки модели был проведен эксперимент на двух наборах данных: синтетических Civil Comments и реальных IMDB-рецензиях. Результаты показали, что CausalSent уменьшает Mean Absolute Error (MAE) для оценки эффектов на 2-3 раза по сравнению с моделью Bansal et al. На IMDB-данных, например, CausalSent показала MAE в 2.9%, в то время как Bansal et al. получили 7.8%. Кроме того, авторы провели случайный эксперимент на слове "love" в IMDB-данных и обнаружили, что его присутствие повышает вероятность положительного отзыва на 2.9%. Эти результаты выявили важность слова "love" в формировании положительного сентимента. #### Значимость Результаты CausalSent имеют значительное значение для приложений в области медицины, финансов и маркетинга, где точность классификации и интерпретируемость решений критически важны. Интерпретация моделей позволяет пользователям понять условия, под которыми они работают, и уменьшить риск ошибок принятия решений. Авторы отмечают, что интерпретируемые модели не только повышают доверие к результатам, но и облегчают отладку и тестирование моделей. Это делает их привлекательными для приложений, где понимание причинных связей имеет решающее значение. #### Вывод

## Контекст Текстовые сети, где текстовые признаки связаны с графовыми структурами, широко распространены в сферах социальных интернет-ресурсов, поиска и рекомендаций. Одна из сложностей в таких сетях — обнаружение выбросов (out-of-distribution, OOD), когда входные данные не соответствуют ожидаемым распределениям. Известные методы OOD-обнаружения часто акцентуются на перекрестных разделяемых классах или простых делениях по доменам, но не учитывают уникальные особенности сочетания текстов и топологии. Например, в социальных сетях OOD может проявляться в различии языковых шаблонов между обычными и ботовыми пользователями. Эта сложность требует развития методов, которые учитывают оба аспекта — текстовые и топологические. ## Метод Мы предлагаем TextTopoOOD — рамочное решение для OOD-обнаружения в текстовых сетях, которое учитывает оба аспекта. Метод включает ряд экспериментов: 1. **Перемены атрибутов** — обработка текста через аугментации и перестройки векторных представлений. 2. **Перемены структуры** — изменение графовых связей и семантических связей. 3. **Тематические разделяемые классы** — различия в тематике у групп. 4. **Разделяемые домены** — различия в задачах или сетях. Решение включает два новые компонента: (1) **Cross-Attention Module**, объединяющий локальные графовые структуры с текстовыми описаниями, и (2) **HyperNetwork**, генерирующий уникальные параметры для каждой точки, решающие проблему взаимодействия между топологией и текстом. ## Результаты Мы проверили TextTopoOOD на 11 датасетах в 4 типах OOD-сценариев. Метод продемонстрировал высокую точность в распознавании выбросов, превосходя существующие методы в сложных сценариях, включая перемены структуры и тематические разделяемые классы. Эксперименты показали, что TNT-OOD эффективно моделирует интеракцию текста и топологии, обеспечивая высокую точность в различных условиях. ## Значимость Текстовые сети широко используются в реальных задачах, таких как мониторинг социальных сетей, ранжирование поисковых результатов и рекомендация контента. TextTopoOOD может применяться для обнаружения ботов, фейковых аккаунтов, ошибочных рекомендаций и других проблем, связанных с нестандартными данными. Его основные преимущества заключаются в уникальном моделировании взаимодействия текста и топологии, что увеличивает точность и устойчивость OOD-обнаружения в текстовых сетях. ## Выводы Текстовые сети представляют уникальные сложности для OOD-обнаружения, требующие учета особенностей сочетания текста и топологии. TextTopoOOD — первый подход, который эфф

#### Контекст Одной из основных проблем в области глубокого обучения, особенно в зрелой области технологий текстового понимания, является защита собственных данных и безопасности авторских прав. Локализованные области задач, такие как текстовое понимание, используются в системах с большими лингвистическими моделями (LLMs). Однако эти модели могут нечаянно раскрыть конфиденциальные данные, включая авторские материалы, в процессе генерации. Это создает риск, что данные, не предназначенные для публикации, могут быть легко получены сторонними пользователями. Традиционные подходы направлены на возможность анализа и выявления утечек после того, как текст уже был сгенерирован. Однако это часто происходит слишком поздно, а уже раскрытые данные могут вызвать значительные проблемы. Данная работа предлагает более проактивный и быстрый подход, основанный на анализе внутренних состояний модели перед выводом текста, для выявления потенциальных утечек. #### Метод Методология, предлагаемая в данной работе, заключается в анализе внутренних состояний текстовых моделей, которые участвуют в процессе генерации. Этот подход включает в себя обучение новых моделей классификации, которые могут определять риски утечек конфиденциальной информации на основе внутренних состояний модели. Был разработан специальный набор данных, содержащий авторские материалы для обучения. Метод состоит в том, что модель принимает входные данные, анализирует их внутренние состояния, и в том случае, если находит опасность утечки, может предотвратить дальнейшую генерацию или изменить выходной результат. Также предлагается интеграция модели с системой Retrieval-Augmented Generation (RAG), которая улучшает ответы модели, связав их с контекстом внешних источников. Это приводит к улучшению качества выходных данных, соблюдению юридических норм и повышению безопасности. #### Результаты На основе исследований, проведенных на специально подготовленном наборе данных, показано, что модель может эффективно определять потенциальные утечки внутренних состояний, даже перед генерацией текста. Было проведено несколько экспериментов, в которых была показана способность модели преварично оценивать риски утечки и предотвращать раскрытие конфиденциальных данных. Набор данных, использованный в экспериментах, включал авторские материалы, подвергшиеся риску, и показал, что модель имеет возможность останавливать генерацию или изменять выходные данные в случае возникновения опасности. Таким образом, модель не только предотвращает утечку конфиденциальных данных, но и улучшает целостность и качество ре

#### Контекст Large Language Models (LLMs) достигли выдающихся результатов по многим задачам. Однако они сталкиваются со сложностями при работе с длинными контекстами. Эти проблемы возникают из-за ограниченной эффективной длины контекста, высокой вычислительной сложности, оценивающейся квадратично, и высокого потребления памяти при обработке длинных входных строк. Такие ограничения становятся помехой при использовании LLMs в сценариях, требующих обработки длинных документов или контекстов. Чтобы устранить эти проблемы, разработана методика, названная Intermediate Layer Retrieval (ILRe), которая направлена на эффективное сжатие контекста без потери смысла. #### Метод ILRe предлагает новую подходящую стратегию сжатия контекста. Она определяет оптимальный уровень декодирования во время обучения или в процессе моделирования. Затем процесс предварительной загрузки (prefilling) контекста ограничивается до этого уровня. Остальная часть контекста доступна через аттенционные срезы. Для того, чтобы сохранить полноту смысла, в ILRe введена стратегия мульти-пулинга (multi-pooling kernels), способная обеспечить полную восстановление смысла в контекстных сценариях. В результате, ILRe уменьшает вычислительный вес входного запроса, а также повышает быстродействие, не требуя дополнительной моделирования или пост-обучения. #### Результаты Исследования подтвердили эффективность ILRe в обработке длинных контекстов. Например, модель Llama-3.1-UltraLong-8B-1M-Instruct, обрабатывая запросы до 1 миллиона токенов, ускорялась примерно в 180 раз, получив результат RULER-$1M$ близкий к 79.8. Эти результаты были достигнуты на Huawei Ascend 910B NPU без дополнительных модификаций модели или дополнительного обучения. Это демонстрирует то, что ILRe эффективно сжимает контекст, сохраняя качество и быстродействие. #### Значимость ILRe может быть применено в сценариях, требующих высокого быстродействия при обработке длинных документов, таких как поиск, ранжирование, моделирование диалогов в телекоммуникационных системах или анализ текстов в машинном обучении. Основные преимущества ILRe заключаются в снижении сложности предварительной загрузки, улучшении производительности и сохранении точности результатов, даже при обработке очень длинных запросов. Эти достижения открывают пути для более эффективного использования LLMs в задачах, требующих огромных объемов контекста. #### Выводы Предложенная ILRe-методика достигает существенного ускорения и эффективности при обработке длинных контекстов в LLMs без дополнительного накладываемого кода или моделей. Она эффективно сжимает контекст, поддерживая качество д