## Контекст ### Область исследования В последние годы технологии машинного обучения, особенно Large Language Models (LLM), становятся все более важной частью систем коллективного развития интеллекта. Однако многие существующие системы оркестрации LLM-агентов основываются на централизованной архитектуре, что приводит к высоким затратам на развертывание, строгому ограничению типов взаимодействия между агентами и ограниченной гибкостью в адаптивной организации. Эти ограничения становятся помехой для эффективной и гибкой работы систем. ### Мотивация Существует необходимость в разработке архитектуры, которая бы снимала эти ограничения, обеспечивая масштабируемость, легковесность и высокую доступность. Задача состоит в том, чтобы развить систему, в которой LLMs могут быть использованы в сети, независимо от того, используются ли они на централизованном сервере или на более низком уровне, таком как пользовательский GPU. ## Метод ### Описание методологии Symphony основывается на децентрализованной многоагентной системе, где LLMs, работающие на потребительских GPU, могут координироваться в сети. Основные механизмы, реализованные в Symphony: 1. **Децентрализованная книга учета (ledger)** — для сбора информации о возможностях каждого агента. 2. **Протокол Beacon-selection** — динамическое назначение задач, основываясь на возможностях и статусе каждого агента. 3. **Распределенная голосование по CoTs (Claims of Truth)** — решение задач с помощью голосования, где каждый агент предоставляет свои решения, и окончательное решение определяется по весам. ### Технические решения и архитектура Symphony использует легковесные LLMs, что позволяет уменьшить нагрузку на вычислительные ресурсы. Децентрализованная архитектура обеспечивает высокую надежность и отказоустойчивость, так что даже при отказе одного или нескольких узлов сеть продолжает работать. Это делает Symphony легко масштабируемой и гибкой для различных задач. ## Результаты ### Эксперименты и данные Для проверки эффективности Symphony проводились ряд экспериментов на различных бенчмарках реактивного мышления и совместного решения задач. Оценивались метрики точности решений, скорость выполнения и устойчивость к ошибкам. Для этого использовались различные модели LLM с разными уровнями возможностей и размеров. ### Результаты В результате экспериментов Symphony показала значительные улучшения по сравнению с существующими базовыми решениями. Она достигла высокой точности решений, демонстрируя гибкость и способность работать в разных условиях. Также была продемонстрирована высокая отказоустойчивость, когда даже при отказ

#### Контекст Представленные transformer-based language models (LLMs) позволили достичь перспективных результатов в NLP-задачах, но при этом стали более сложными в оптимизации и развертывании. Их устойчивость к помехам входных данных остается весьма нерешительной проблемой. Наличие разных подходов к оценке устойчивости — от методов специфичных для данных до глобальных оценок — сделало ситуацию еще более запутанной для разработчиков. Это существующие проблемы необходимо решить, чтобы обеспечить доверие к LLMs в критически важных сферах, таких как медицина, финансы и системы управления. В этой статье мы предлагаем SALMAN — новую, универсальную модель для оценки устойчивости, которая не требует изменений внутренних параметров модели и предлагает эффективный и простой подход. #### Метод SALMAN работает на основе метода оценки динамики распространения помех во входных данных. Мы предлагаем Distance Mapping Distortion (DMD) — метрику, определяющую степень изменения входных данных при преобразовании в выходные данные. Основным элементом SALMAN является граф-ориентированная модель, в которой каждый токен представляется в виде вершины, а взаимосвязи — в виде ребер. Нам удается разделить DMD на две основные части: локальную оценку, основанную на матричной форме, и глобальную оценку, которая работает на всем датасете. Это позволяет SALMAN оптимизировать оценку времени и ресурса. #### Результаты Мы проверили SALMAN на нескольких тестовых наборах данных, включая SST-2, IMDB и CIFAR-10. Метод позволил добиться высокой точности в определении устойчивости моделей, превосходя существующие подходы. Например, на SST-2 SALMAN обеспечил 95,8% точности, в то время как предыдущие методы не приближались к этому результату. Мы также проверили SALMAN в условиях устойчивого обучения и получили существенное улучшение в стабильности модели при сильных помехах входных данных. #### Значимость SALMAN может использоваться в различных областях, где требуется высокая устойчивость моделей к входным помехам. Он может применяться в медицинских системах, финансовых моделях и даже в системах управления, где любая неустойчивость может привести к серьезным последствиям. Одним из основных преимуществ SALMAN является его модельная простота и малое потребление ресурсов, что делает его привлекательным для разработчиков, которым необходимо быстро проверить свои модели. #### Выводы Мы представили SALMAN — мощный инструмент для оценки устойчивости LLMs. Наши результаты показали, что SALMAN может предоставить эффективную оценку устойчивости, не требуя дополнительных исследований. В будущем мы планируем расширить функционал SALMAN, добавив по

## Контекст Обеспечение безопасности в цифровой среде становится все более важной задачей в условиях постоянно усиливающихся угроз силовым цифровым пространству. Одна из ключевых проблем в этой области — недостаток информации о реальном воздействии уязвимостей. Хотя базы данных, такие как National Vulnerability Database (NVD), предоставляют подробные описания уязвимостей, они часто не содержат информации о возможных вариантах их использования в атаках, таких как методы, техники и процедуры (TTP). Анализ такой информации требует значительных усилий и времени, что не позволяет реагировать на новые уязвимости в адекватные сроки. Использование автоматизированных методов для оценки воздействия уязвимостей может значительно улучшить эффективность и скорость анализа, что делает этот подход крайне значимым для систем безопасности. ## Метод Авторы предлагают TRIAGE — методологию, основанную на использовании бо LLM (больших языковых моделей) для автоматического определения воздействия уязвимостей. Метод использует два этапа. В первом этапе LLM применяется для предсказания возможных TTP, используя инструкции на основе ATT&CK-базы знаний. Второй этап использует in-context learning для дополнительного определения TTP, используя контекстная информация из NVD. Этот гибридный подход объединяет rule-based методы и data-driven inference, что позволяет повысить точность и покрытие. Инструментарий TRIAGE может применяться для автоматического предсказания воздействия уязвимостей, основываясь на данных базы NVD. ## Результаты Оценка результатов TRIAGE проводилась с использованием эталонных данных ATT&CK. Было проведено несколько экспериментов с различными моделями LLM, включая GPT-4o-mini и Llama3.3-70B. Результаты показали, что in-context learning выдает лучшие результаты по поиску возможных TTP, чем отдельно взятые rule-based и другие данные-дронные методы. Кроме того, TRIAGE улучшает покрытие и увеличивает чувствительность к редким вариантам использования уязвимостей. GPT-4o-mini показал более высокую точность по сравнению с Llama3.3-70B при использовании TRIAGE. ## Значимость Данный подход может применяться в различных областях безопасности, включая анализ безопасности программного обеспечения, реагирование на инциденты, а также процессы разработки и тестирования. TRIAGE позволяет эффективно повышать эффективность и автоматизировать процессы, связанные с оценкой воздействия уязвимостей. Он может существенно снизить время и ресурсы, необходимые для анализа уязвимостей, и помочь в создании более эффективных стратегий защиты. ## Выводы ТРИАЖ (TRIAGE) — это прорыв в автоматизации процессов оценки в

## Контекст Создание текстов в творческом письме является сложной задачей, требующей сочетания творческих способностей и строгого соблюдения правил. Одной из основных проблем в данной области является необходимость балансировки между субъективными качествами текста, такими как литературность и эмоциональная глубина, и объективными ограничениями, такими как форматные требования и границы числа слов. На данный момент, существующие методы усовершенствования текстов через оптимизацию взаимосвязи этих качеств часто не могут эффективно решать эту задачу. Это приводит к проблемам в поддержании баланса в творческом процессе. Мы выделили две главные проблемы: одиночные стратегии вознаграждения не могут эффективно улучшить оба аспекта одновременно, а статические смеси целей не позволяют адаптироваться к разным сценариям. ## Метод Мы предлагаем метод Reinforcement Learning with Mixed Rewards (RLMR), который использует динамическую смесь вознаграждений для оптимизации творческого письма. Этот метод включает два модели: модель для оценки литературных качеств текста и модель для проверки соблюдения конструктивных ограничений. Целевой вес вознаграждения адаптируется в зависимости от качества текста в каждой группе выборки. Это позволяет уменьшить вес вознаграждения для текстов, нарушающих ограничения, и, как следствие, отозвать их при обучении. Это динамическое регулирование целей вознаграждения является основным инновационным аспектом нашего подхода. ## Результаты Мы провели разнообразные эксперименты с моделями различных размеров, начиная от 8 миллиардов до 72 миллиардов параметров. Для полной оценки результатов, мы создали реалистичный бенчмарк WriteEval для тестирования на реальных задачах творческого письма. Наши эксперименты показали, что RLMR значительно улучшает обе стороны задачи: инструментальное поведение (Instruction Following Evaluation) повысилось с 83.36% до 86.65%, а литературные качества текста, оцененные в ручную, показали выигрыш в 72.75% при парном сравнении в WriteEval. ## Значимость Метод RLMR широко применим в области творческого письма, включая создание поэзии, текстов для электронных книг, рекламных текстов и других текстов, требующих баланса между литературными и формальными качествами. Он демонстрирует свой достоинству в том, что он может эффективно адаптироваться к разным сценариям и улучшать как субъективные, так и объективные качества текста. Мы считаем, что RLMR может стать ключевым инструментом в развитии творческих текстов и стать первым шагом к созданию более интеллектуальных и универса

## Контекст Появление больших языковых моделей (LLMs) стало решающим шагом в области искусственного интеллекта, применяемого в различных сферах жизнедеятельности. Однако существует противоречие: несмотря на выдающиеся результаты в бенчмарк-задачах, LLMs часто не удовлетворяют потребностям в реальном мире. Основная проблема заключается в том, что существующие фреймворки оценки не учитывают широту практических задач, включая экономическую эффективность, социальный вклад, этический компромисс и устойчивость к экологическим изменениям. Таким образом, требуется новый подход, который бы учитывал не только технические показатели, но и ценности, связанные с применением LLMs в реальных условиях. ## Метод Методология основана на том, чтобы перенести логику оценки LLMs на элементы, присущие человеческому разуму. Основу нового подхода составляет трехмерная система: 1. **Intelligence Quotient (IQ)** – оценка общей работоспособности модели, её обработки языка и решения простых задач. 2. **Emotional Quotient (EQ)** – оценка возможности модели взаимодействовать с людьми, соблюдая значения и эмоциональную грамотность. 3. **Professional Quotient (PQ)** – профессиональные навыки модели, включая специальные знания и компетенции в задачах специализированного характера. Для эффективного применения этой системы предлагается новый фреймворк, **Value-oriented Evaluation (VQ)**, который оценивает важность модели в трех сферах: экономической, социальной и экологической. Архитектура VQ включает в себя шесть модулей, каждый из которых отвечает за отдельный аспект оценки. ## Результаты Приложение нового подхода проверено на более чем 200 бенчмарк-экспериментах. Основные выводы: - **Обнаружены ключевые проблемы**, такие как недостаточная интерпретируемость результатов бенчмарков и несоответствие технических показателей реальным потребностям пользователей. - **Разработанная методология** дает возможность оценивать LLMs не только с точки зрения технических возможностей, но и с учетом их этической и практической стоимости. ## Значимость Новый подход может быть использован в различных областях, включая здравоохранение, образование, финансы и управление. Основные важные преимущества: - Включение этических факторов в оценку, что гарантирует соответствие нормам и экологическим требованиям. - Улучшение оптимизации моделей под конкретные реалии при их применении в жизнедеятельности. - Устойчивость моделей в условиях реального применения, когда техническая производительность должна сочетаться с социальной и экономической эффективностью. ## Вывод

## Контекст Large language models (LLMs), внедренные в рекомендательные системы (RecSys), предлагают гибкий и эффективный подход к адаптации рекомендаций к различным доменам. Одним из ключевых инструментов является включение в контекстные запросы (in-context learning, ICL), позволяющий настраивать рекомендательные функции на основе пользовательских данных. Эти данные могут включать в себя такие конфиденциальные элементы, как история взаимодействия пользователя с элементами (например, клики или рецензии). Несмотря на важность этих данных, существующие исследования не рассматривали потенциальную угрозу, связанную с использованием таких данных в контекстном обучении. Кроме того, существуют угрозы, связанные с вытекающими из этих данных сведениями о личности пользователей. Этот аспект требует дополнительных исследований. ## Метод Наше исследование состоит в разработке и оценке различных типов методов атак на конфиденциальность в LLM-based RecSys. Мы определили 4 типа атак: **прямая запросная атака (direct inquiry attack)**, **атака на основе вымышленности (hallucination attack)**, **атака на основе сходства (similarity attack)** и **атака с использованием вирусообразного вмешательства (poisoning attack)**. Каждый тип атаки использует уникальные особенности LLM и RecSys, чтобы выявить информацию о включении конкретных пользователей в системные модели. Мы также разработали экспериментальный план, включающий оценку на нескольких моделях LLM и двух бенчмарк-датасетах RecSys. Это позволило нам протестировать эффективность каждого типа атаки в реальной среде. ## Результаты Наши эксперименты показали, что угроза со стороны MIA в LLM-based RecSys очень реальна. Типы атак, такие как **direct inquiry** и **poisoning attack**, демонстрируют высокую эффективность. Мы также выявили, что факторы, такие как количество системных примеров (shots) в контекстном запросе и позиция жертвы в этих примерах, могут значительно повлиять на результаты атак. Эти результаты подтверждают, что злоумышленники могут предсказать, включен ли конкретный пользователь в систему, лишь используя частичные данные. ## Значимость Полученные результаты имеют большое значение для развития безопасных LLM-based RecSys. Мы продемонстрировали техническую возможность MIA в этой области и показали, каким образом эти угрозы могут быть эффективно использованы в практических ситуациях. Это открывает возможности для развития новых методов защиты, таких как шифрование данных и анонимность взаимодействия. Будущие исследования будут сфокусированы на создании эффективных методов защиты и обнаружения таких атак, а также на изучении эффективности различных стратегий атак в раз

## Контекст Стремительно растущие объемы данных и требования к высокопроизводительным моделям обработки естественного языка (Natural Language Processing, NLP) породили класс моделей, таких как Mixture-of-Experts (MoE). Эти модели используют слои с выбором экспертов (expert-selection layers), которые позволяют увеличить мощность модели без линейного роста времени вычислений. Однако, несмотря на эффективность, существуют исследования, показывающие, что слишком высокая спарсинг (sparsity) может негативно сказаться на обучении и воспроизведении моделей. Мы исследуем, как спарсинг влияет на возможности моделей в двух дифференцирующихся режимах: запоминание (memorization) и рассуждение (reasoning). Особое внимание уделено параметрам ввода-вывода (input-output parameters) и стратегиям топ-$k$-routing, которые влияют на производительность на разных задачах. ## Метод Мы тренируем ряд моделей Mixture-of-Experts Transformers, которые отличаются в количестве параметров, активных экспертов и стратегиях топ-$k$-routing, при этом сохраняя одинаковый бюджет вычислений. Мы записываем показатели обучения и тестовой потерь, а также точность выполнения задач в зависимости от этих параметров. Эксперименты проводятся на двух типах бенчмарков: задач запоминания (memorization benchmarks) и задач рассуждения (reasoning benchmarks). Мы также изучаем, насколько могут помочь пост-обучение (post-training), GRPO (model-based reinforcement learning) и дополнительное тест-time вычислительное время для компенсирования негативного влияния слишком высокой спарсинга. ## Результаты Мы обнаружили, что при увеличении общего количества параметров модели происходит улучшение в задачах запоминания, что отражается на уменьшении обучающей потери. Однако, в случае задач рассуждения, мы наблюдаем, что продолжительное увеличение параметров может привести к регрессии во время тестирования, даже если обучающая потеря продолжает снижаться. Мы также установили, что изменение топ-$k$-routing оказывает малое влияние на модели, когда количество активных параметров не меняется. Дополнительные меры, такие как GRPO или дополнительные вычислительные ресурсы на этапе тестирования, не способны действенно исправить дефицит во время тестирования, вызванный слишком высокой спарсингой. ## Значимость Наши результаты имеют перспективу для оптимизации моделей Mixture-of-Experts в NLP, особенно в задачах рассуждения. Эти модели могут использоваться в области контекстной семантики, вопросов-ответов и трансляторских задач. Мы показали, что параметры ввода-вывода и стратегии топ-$k$-routing играют ключевую роль в регулировании производительности. Наша исследовательская модель открывает новые возможности для гибких и эффективных моделей, которые могут быть использованы в разли

## Контекст Современная сетевая безопасность опирается на широкий спектр инструментов, в том числе интрузионные детекторы систем (IDS), которые используют предопределенные правила для обнаружения аномального поведения в сети. Эти правила, образующие основу IDS, получаются из Cyber Threat Intelligence (CTI), который включает в себя сигнатуры атак и биографии биографий. Однако многообразие и многоплановость новых угроз требуют непрерывного обновления правил IDS, что может привести к задержкам в развертывании и снижению оборонительных возможностей системы. Особенно высокая динамика в сфере цифровой грубости вынуждает использовать продвинутые методы для упрощения и ускорения процесса генерации правил. Лучшие технологии в области AI, такие как большие языковые модели (LLMs), могут предложить переломный эффект, превратив процесс генерации правил IDS в более автоматизированный и быстрый. ## Метод Для решения вопроса об оптимизации генерации правил в IDS был разработан фреймворк FALCON, который основывается на агентных системах и использует технологии LLMs для автоматической генерации правил IDS. Методология FALCTON состоит из нескольких этапов: 1. **Сбор и обработка CTI-данных**: Фреймворк собирает данные из различных источников CTI, включая видеозаписи, потоки данных и другие источники. 2. **Генерация правил IDS**: Основной функцией FALCON является автоматическое создание правил IDS, которые могут быть применены в различных средах, таких как Snort и YARA. 3. **Встроенная проверка**: Фреймворк имеет встроенные механизмы для встроенного тестирования, которые обеспечивают высокую точность и устраняют риск поддельных сигналов. 4. **Интеграция с IDS**: Генерируемые правила могут быть непосредственно интегрированы с IDS-системами, что обеспечивает реальноземную защиту. В качестве тестового датасета было создано специальное сообщество с подробными правилами IDS и CTI-данными. ## Результаты Использовавшийся датасет включал более 10 000 правил IDS и соответствующие данные CTI. Экспериментальные исследования показали, что FALCON имеет высокую точность в генерации правил, средний результат составил 95%. Кроме того, проведенные квалитиативные оценки показали, что 84% специалистов по безопасности согласились на правильность полученных правил в различных сценариях. Эти результаты свидетельствуют о высокой эффективности и надежности FALCON в автоматической генерации правил IDS. ## Значимость FALCON может быть применен в различных сферах, в том числе в сетевой безопасности, где реально-времявая защита сетей критически важна. О

## Контекст На протяжении последних лет Бо LLM (Large Language Models) развивались в самый мощный инструмент в области искусственного интеллекта, вдохновив на появление нового поколения "агентных" AI-систем. Эти системы агентского подхода, основанные на целевом поведении и рациональной работе, могут выполнять сложные задачи, включая поиск и обработку информации, а также принятие решений. Однако, несмотря на их выдающиеся возможности, они остаются чувствительными к биазу, который может проникать как из внутренних, так и из внешних источников информации. Такой биаз может привести к несправедливости и небалансированному распределению информации, что снижает доверие пользователей к системе. Из-за этого проблемы с биазом требуется срочное решение, чтобы обеспечить целесообразную и балансированную форму распространения знаний. Мы предлагаем новую систему "Bias Mitigation Agent", которая представляет собой многоагентную систему, созданную с целью устранения биаза при выборе источников, чтобы обеспечить высокую степень актуальности и минимальный уровень биаза в полученной информации. ## Метод Мы представляем Bias Mitigation Agent (BMA) - многоагентную систему, которая эффективно подходит к решению проблемы биаза в AI-системах. Наша система включает в себя специализированные агенты, которые работают вместе для оптимизации выбора источников информации. Основной метод, используемый в BMA, включает в себя многоуровневую стратегию, где каждый агент отвечает за конкретный аспект оценки источника. Например, один агент может оценивать надежность источника, а другой может учитывать разнообразие представленных точек зрения. Эти агенты взаимодействуют с помощью системы баз данных, которая обеспечивает сбалансированную информацию для запросов пользователя. Эта модель гарантирует, что каждый источник будет рассматриваться с учетом настройки биаза, чтобы снизить влияние потенциальных упреждений. ## Результаты Мы провели ряд экспериментов для оценки эффективности нашей системы. Для этого мы использовали разные наборы данных, включая стандартные наборы, такие как “Media Bias Fact Check” и “AllSides”. Эти наборы данных позволяют проверить, насколько BMA может уменьшить уровень биаза в отношении выбора источников. Мы сравнили результаты с базовой системой, которая не имеет механизма биаз-митигации. Эксперименты показали, что BMA существенно снижает уровень биаза, достигнув 81.82% по сравнению с базовым подходом. Также, мы проводили кросс-эксперименты, чтобы проверить устойчивость нашего подхода в разных условиях, и результа

## Контекст Проблематика обучения Large Language Models (LLMs) в области создания структурированных цепочек мыслей (Chain-of-Thought, CoT) для решения сложных задач является текущим объектом интереса в машинном обучении. Несмотря на то, что CoT-prompting позволяет LLMs решать сложные проблемы, очень длинные цепочки мыслей часто приводят к замедлению процесса рассуждения и даже к ухудшению качества решения задач, особенно в случае быстрых, интуитивных "System-1" задач. Одной из основных мотиваций является создание более эффективных техник CoT-prompting, которые бы стабильно обеспечивали высокое качество решения задач, сочетая сокращенные и структурированные цепочки мыслей с быстротой и эффективностью. ## Метод Метод CAC-CoT (Connector-Aware Compact Chain-of-Thought) предлагает сократить цепочки мыслей, используя фиксированный набор коннекторов (connector phrases). Эти коннекторы руководят моделью к созданию компактных и структурированных рассуждений, уменьшая длину цепочки мыслей без потери точности. Метод основывается на модели Gemini-2.0-Flash, которая строит компактные цепочки мыслей с помощью ограниченного набора коннекторов. Это позволяет модели лучше сфокусироваться на целевой задаче, уменьшая раздутые цепочки мыслей. ## Результаты Эксперименты проводились на двух типах задач: System-2 (GSM8K и GPQA) и System-1 (S1-Bench). Результаты показали, что CAC-CoT достигает примерно 85% точности на GSM8K и примерно 40% на GPQA, не ухудшаясь на GSM8K. Для S1-Bench, CAC-CoT сохраняет примерно 90% точности, что указывает на сбалансированность между System-1 и System-2 задачами. Одним из ключевых результатов является сокращение длины цепочек мыслей до примерно 300 токенов (ART), что составляет примерно одну треть длины цепочек базовых моделей, не приводя к ухудшению точности. ## Значимость CAC-CoT трансформирует технологию CoT-prompting, предлагая эффективный подход для создания структурированных цепочек мыслей, который может использоваться в области решения сложных задач. Он показывает сильные преимущества в системах, требующих быстрого вывода без потери точности. Инновационность CAC-CoT заключается в его удобстве для применения в реальном мире, где требуется компактность и эффективность. Это может иметь значительное влияние на применение LLMs в сферах, где необходима быстрая интуитивная обработка данных. ## Выводы CAC-CoT достигает баланса между эффективностью и точностью, позволяя LLMs быстро решать быстрые задачи, не ухудшаясь на сложных задачах. Будущие исследования могут сосредоточиться на улучшении коннекторов, исследовании других моделей