## Контекст В последние годы широко распространены трансфорер-модели, которые обладают выдающимися возможностями в области обработки естественного языка. Однако существуют ряд сложностей, в том числе связанные с ретроспективным контролем поведения моделей. Многие приложения требуют, чтобы модели не только генерировали ответы, но и проявляли определенную стратегию, например, отказывались от ответа при необходимости, привлекались к экспертам или указывали на сторонние ресурсы. Этот подход, известный как "steering" (руководство), вызывает значительный интерес, особенно для моделей, обрабатывающих множество видов данных (multimodal large language models, MLLMs). Несмотря на существующие стратегии, такие как mean steering, они основываются на единственном статическом векторе направления, который не зависит от конкретного входного запроса. Это ограничение становится особенно заметным в случаях, когда результат должен зависеть от конкретного запроса. Например, правильное решение для запроса о медицинской информации может заключаться в указании на поиск квалифицированного специалиста. В данной статье предлагается новый подход, называемый **L2S (Learn-to-Steer)**, который адресует эти ограничения, применяя вводно-зависимую стратегию руководства. ## Метод MLLMs, такие как Flamingo и также многие другие, были разработаны для обработки разнообразного ввода, но их поведение часто недостаточно контролируется. Для решения этой проблемы предлагаются вводно-зависимые стратегии. Процесс L2S включает следующие этапы: 1. **Input-Specific Prompting**: Для каждого ввода создается уникальная интерпретация, которая включает в себя специальные добавления, направляющие модель в нужном направлении. 2. **Linear Shift Calculation**: Используя вводно-зависимую интерпретацию, вычисляется линейный сдвиг, который определяет изменение поведения модели. 3. **Training Auxiliary Module**: На этапе обучения применяется небольшой модуль, который предсказывает линейный сдвиг, используя в качестве входных данных вводно-зависимую интерпретацию. Этот подход позволяет выравнивать модель в соответствии с требованиями конкретного запроса, что делает ее более эффективной и безопасной в эксплуатации. ## Результаты На экспериментальных данных показано, что L2S значительно сокращает зависимость от статических стратегий и улучшает результаты в следующих областях: - **Reduction of Hallucinations**: Модель становится менее зависима от некорректных выводов, когда применяется L2S. - **Safety Enforcement**: Модель намеренно отказывается от ответов в случаях, когда ответ может быть небезопасен или неправильным. - **Comparison with Baselines**: Результаты L2S показывают значительные выигрыши по сравнению с

## Контекст Настоящее исследование рассматривает проблему ограниченного объема памяти в системах машинного обучения, работающих на устройствах с низким мощностным потреблением. Эта проблема становится особенно актуальной при непрерывной сборке данных, когда система должна эффективно управлять ресурсами памяти. Особенно затруднена оценка того, как компрессия данных влияет на качество обучения моделей. Данный работа адресует эти вопросы, рассматривая стратегии компрессии, основывающиеся на анализе того, насколько данные чувствительны к компрессии. Этот аспект является ключевым для развития систем, которые могут адаптироваться к ресурсным ограничениям с оптимальным соотношением качества и объема данных. ## Метод Исследование основывается на исследовательских экспериментах с использованием методов компрессии изображений JPEG. Авторы рассматривают различные стратегии, включая универсальную компрессию, удаление данных в универсальной форме, а также адаптивные стратегии, когда каждый образец данных компрессируется с различным уровнем сжатия. Для экспериментов использовались стандартные датасеты изображений, на которых проводились различные задачи обучения, такие как классификация изображений. Авторы приводят подробные оценки по производительности и качеству, подчеркивая индивидуальную чувствительность данных к компрессии. ## Результаты Эксперименты показали, что универсальные стратегии компрессии, такие как однородное удаление данных или стандартное сжатие, приводят к существенным потерям в качестве. Адаптивная компрессия, при которой каждый образец данных компрессируется по-разному, демонстрирует значительное повышение эффективности. Например, некоторые образцы, которые являются ключевыми для модели, лучше всего переносятся в уменьшенном виде, в то время как другие могут быть более чувствительны к компрессии. Эти результаты подтверждают, что адаптивная стратегия является более эффективной, чем общая стратегия применения компрессии. ## Значимость Результаты данного исследования открывают путь к развитию новых систем обучения, которые могут эффективно управлять ресурсами памяти. Это применимо в ситуациях, когда необходимо обучать модели на устройствах с ограниченным объемом памяти, например, на мобильных устройствах или в IoT-системах. Адаптивная компрессия может существенно повысить эффективность таких систем, уменьшив потери в качестве обучения при минимизации объема хранимых данных. Это имеет потенциал для расширения применения машинного обучения в ситуациях, где ресурсы ограничены и э

#### Контекст Современные Crowdsourced Cloud-Edge Platforms (CCPs) становятся важной частью инфраструктуры для поддержки высоконагруженных сервисов, таких как видеопотоки и игры в реальном времени. Однако, растущий объем потоковых данных вызывает серьезные проблемы в управлении качеством обслуживания (QoS) и эффективностью использования ресурсов. Одна из основных сложностей заключается в прогнозировании нагрузки, которая часто проявляет высокую сезонность и подвисания. Традиционные методы, ориентированные на минимизацию mean absolute error (MAE), часто приводят к недооценке нагрузки в пиковые периоды, что может привести к нарушению Service Level Agreement (SLA) и нехватке ресурсов. Альтернативные подходы, ориентированные на overprovisioning, эффективно снимают риск нарушения SLA, но приводят к значительному увеличению затрат на ресурсы. Из этой проблемы возникает потребность в развитии более точных и балансированных методов для прогнозирования нагрузки. #### Метод HRS — это гибридная модель прогнозирования нагрузки, которая объединяет два представления: числовые и изображение-подобные. Числовые представления используются для определения трендов и циклов в данных. Изображение-подобные представления (графики) позволяют лучше учитывать локальные динамики и выбросы. HRS также включает Scheduling-Aware Loss (SAL), который включает учитывает асимметричный вклад ошибок прогноза в процессе распределения ресурсов. SAL позволяет уменьшить негативные последствия ошибок в прогнозировании, улучшая распределение ресурсов и уменьшая риск нарушения SLA. #### Результаты Мы провели эксперименты на четырёх реальных датасетах, сравнивая HRS с десятью другими моделями, включая ARIMA, LSTM и DeepAR. Результаты показали, что HRS показывает значительное превосходство по нескольким критериям. Она уменьшила SLA-нарушения на 63.1% и сократила total profit loss на 32.3% по сравнению с лучшей из базовых моделей. Более того, HRS демонстрирует высокую точность прогнозирования даже при высоких нагрузках, что делает её подходимой для систем с требованиями к высокому QoS. #### Значимость HRS может быть применена в различных областях, где критически важно обеспечить QoS и эффективное использование ресурсов. Это включает видеопотоки, игры, IoT и другие временной ряды. Одним из основных преимуществ HRS является способность динамически адаптироваться к изменениям нагрузки, уменьшая риск нарушения SLA. Это может привести к повышению удовлетворенности пользователей и сокращению расходов на ресурсы. В будущем, HRS может быть расширена для других видов ресурсов, таких как файловые системы и сетевые ресурсы. #### Выводы Наша работа показала, что HRS даёт значи

## Контекст В последние годы цифровизация приобрела масштабы, которые повлияли на все сферы человеческой деятельности. Это проявляется в увеличении количества сетевых устройств и усложнении сетевых структур. Такое развитие повлекло за собой повышение риска атак на сети, таких как массовый доступ к конфиденциальным данным, деформация правил сетевого трафика и другие формы вторжений. Атаки в сетях могут привести к неизбежным финансовым потерям, потерей доверия клиентов и даже к угрозам безопасности национального уровня. Машинное обучение, особенно в сфере обнаружения вторжений, приобрело важное значение в современном мире. Однако, наиболее распространенные методы, такие как One-Class Support Vector Machine (OC-SVM), сталкиваются с проблемами, такими как невозможность обнаружения неизвестных угроз. Наша мотивация заключается в том, чтобы разработать метод, который бы учитывал особенности сетевых данных и мог обнаруживать неизвестные вторжения. ## Метод Мы предлагаем метод динамической моделирования графов, который включает в себя несколько ключевых компонент: 1. **Техника моделирования графов**: Мы представляем сетевой трафик в виде динамического графа, где узлы представляют устройства, а ребра — связи между ними. Это позволяет хранить структуру сети и динамические изменения в ней. 2. **Динамический граф свертки (TGN)**: Мы используем модель TGN для получения функциональных представлений узлов в графе. Она учитывает связи между узлами и их динамические изменения во времени. 3. **Метод одного класса**: Мы применяем метод одного класса, такой как SVDD (Support Vector Data Description), для обнаружения аномалий. Этот подход позволяет определять "нормальное" поведение сети и выделять те изменения, которые выходят за ее пределы. ## Результаты Мы проводили эксперименты на реальных данных об открытом доступе, включая CICIDS и UNSW-NB15. Метод TGN-SVDD показал свою превосходность над сравнимыми методами по метрикам F1-score и AUC. Мы также проверили его на более сложной версии данных, и он по-прежнему демонстрировал высокую точность. Эти результаты подтверждают то, что TGN-SVDD эффективен в обнаружении неизвестных аномалий в сети. ## Значимость Метод TGN-SVDD имеет широкие перспективы применения в сфере сетевой безопасности. Он может использоваться для защиты от атак на сети, таких как DDoS, MITM, и другие. Одним из его преимуществ является то, что он может обнаруживать неизвестные вторжения, что значительно повышает безопасность. Будущие исследования будут направлены на улучшение скорости вычислений и расширение применения этого метода к более сложным сете

#### Контекст Современные нейронные сети становятся все более сложными, что создает значительные вызовы для их развертывания в распределенных машинных обучении (ML), особенно на устройствах с ограниченными ресурсами, таких как федеративное обучение (FL). Одним из таких подходов является **Split Learning (SL)**, который позволяет разделить вычислительную нагрузку между устройствами. Однако, при увеличении количества участников, весьма значительной является задержка, вызванная трансмиссией объектов и промежуточных данных (smashed data), включая активации и градиенты. Таким образом, необходимо разработать эффективный подход к сжатию данных, чтобы ускорить обучение моделей. #### Метод **SL-ACC** — это разработанная система, которая состоит из двух ключевых компонентов: **Adaptive Channel Importance Identification (ACII)** и **Channel Grouping Compression (CGC)**. ACII использует **Shannon entropy** для определения вклада каждого канала смашенных данных в процесс обучения. Затем, CGC группирует графические каналы с помощью алгоритма энтропии и применяет **group-wise adaptive compression** (групповое сжатие с адаптивностью) для сокращения объема передаваемых данных, не влияя на точность модели. Эта архитектура разработана для максимального эффективности в сжатии данных и уменьшения задержек в процессе обучения. #### Результаты Выполнены обширные эксперименты с помощью различных данных, включая MNIST, CIFAR-10, и CIFAR-100. Результаты показали, что **SL-ACC** значительно сокращает время, необходимое для достижения целевой точности, в сравнении с современными фреймворками. Эксперименты показали, что адаптивность ACII и CGC позволяет эффективно сжимать данные без потери качества обучения. Например, в сравнении с другими методами, **SL-ACC** относительно быстро достигает 90% точности, что делает его эффективным для распределенных ML-систем. #### Значимость **SL-ACC** может применяться в различных областях, включая медицину, транспорт, и ИИ для устройств с ограниченными ресурсами. Он обеспечивает значительное улучшение производительности в сравнении с другими методами сжатия. Одним из основных преимуществ является эффективное сжатие данных без потери точности, что делает его привлекательным для обучения моделей в реальном времени. Будущие исследования могут сфокусироваться на расширении фреймворка для различных типов нейронных сетей и улучшении его эффективности в разных условиях сетевых узколей. #### Выводы **SL-ACC** позволяет эффективно группировать каналы и адаптивно сжимать данные в рамках распределенного обучения. Он предлагает значительное улучшение в скорости и качестве обучения, что делает его привлекательным для распределенных систем, включая FL. Дальнейшие ис

## Контекст Трансформерные нейронные сети применяются всё чаще для решения физических задач, таких как моделирование динамики сложных систем и решение параметрических частных дифференциальных уравнений (PDE). Однако их применение связано с некоторыми проблемами. В задачах с data-driven PDE surrogates, тренировочные данные, полученные от различных условий границ и начальных условий, могут привести к непоследовательности потерь и значительным колебаниям градиентов. В physics-informed neural networks (PINNs), где используются сложные композитные потери, эти проблемы усиливаются. Kourkoutas-Beta предлагается как решение этих проблем, стабилизируя обучение и улучшая общую производительность. ## Метод Kourkoutas-Beta является развитием стандартного Adam-оптимизатора, существенно улучшая его стабильность в условиях спадающих и пиковых градиентов. Основная инновация заключается в замене фиксированного второго момента beta2 на динамическое значение, которое зависит от ``sunspike''-раATURAТУРА: это отношение актуального полновесного норма градиента к экспоненциальному скользящему среднему этого норма. Значение sunspike-раATURAТУРА жадно сжимается в интервал [0,1), что даёт динамическое регулирование beta2. Дополнительно предлагаются варианты, такие как leaky-AMSGrad для улучшения декремента, clipping для зон ограничения, и множество режимов bias-correction. В тоже время, при выключении всех дополнительных опций и установке bias_correction=``none'', метод равноценен классическому Adam. ## Результаты Выполнены эксперименты на четырёх различных наборах данных: (i) Heat2D — задача моделирования теплового вывода с использованием Transformer, (ii) Heat3D — трёхмерная задача PINN для моделирования теплопроводности, (iii) MLX synthetic task — задача с шумом и редкими градиентными всплесками, и (iv) small-enwik8 — задача на уровне символов с 30 МБ данных. Результаты показали, что Kourkoutas-Beta показывает значительно более высокую стабильность и лучшие результаты по потерям во всех задачах по сравнению с фиксированным beta2. На small-enwik8 он уменьшил bits-per-character в среднем на 38% по сравнению с Adam-0.95 и на 58% по сравнению с Adam-0.999, с меньшей дисперсией. Общая производительность остается близкой к Adam, с незначительным overhead. ## Значимость Kourkoutas-Beta может быть применён во многих областях, где используются трансформеры для решения физических задач, включая моделирование теплопроводности, системы управления и другие data-driven надёжные решения. Он обеспечивает улучшенную стабильность и снижает вероятность спада градиентов, что делает его привлекательным для задач с нетипичными условиями границ и редкими ситуациями входных данных. Этот оптимизатор может быть легко

#### Контекст Современная кибербезопасность стала ключевым аспектом защиты информационных систем от внешних и внутренних угроз. Главной проблемой этой области является увеличение числа киберугроз, которые приводят к негативным последствиям для целостности, доступности и конфиденциальности систем. Эти угрозы приводят к потере данных, финансовым убыткам и ухудшению репутации организаций. Особенно актуальным становится использование технологий углубленного обучения (deep learning) для понимания и прогнозирования последствий киберугроз. Одним из наиболее трудных аспектов является классификация последствий атак на основе текстовых описаний. Многие существующие методы имеют ограниченную точность и не могут эффективно обрабатывать большое количество данных. Это делает необходимым развитие более точных и эффективных методов классификации, чтобы обеспечить более эффективную защиту от киберугроз. #### Метод В данном исследовании использована методология глубокого обучения для классификации последствий киберугроз. Модель Bidirectional Encoder Representations from Transformers (BERT) была интегрирована с Hierarchical Attention Networks (HAN) для обеспечения эффективного многометкального классификации. BERT был выбран из-за его способности понимать контекст слов в тексте, что позволяет ему обрабатывать большие текстовые данные с высокой точностью. Hierarchical Attention Networks (HAN) были применены для улучшения классификации на основе вложенных субъектов в тексте. Архитектура модели также включала Convolutional Neural Networks (CNN) и Long Short-Term Memory (LSTM) для сравнения с BERT. Эти модели были обучены на данных из MITRE Common Weakness Enumeration (CWE) database, которая содержит описания различных киберугроз и их последствий. #### Результаты В ходе экспериментов были сравнены результаты BERT, HAN, CNN и LSTM на данных CWE. BERT достиг точности $0.972$ при многометкальной классификации, что значительно превышает результаты остальных моделей. HAN показал лучшие результаты на определенных многометкальных тегах по сравнению с CNN и LSTM, но не достиг той же универсальной точности, что и BERT. CNN и LSTM, в свою очередь, показали нижний уровень точности и не смогли удовлетворить более сложные задачи классификации в области кибербезопасности. Эти результаты подтверждают, что BERT является более эффективной моделью для прогнозирования последствий киберугроз. #### Значимость Результаты этого исследования имеют большое значение для кибербезопасности и индустрии. BERT может быть использован для автоматизации процессов классификации киберугроз, что существенно сократит время, затрачиваемое на анализ текстовых данных. Это позволит специалистам по бе

**Резюме** В данной работе рассматривается задача трехмерного временного ряда для подготовки прогнозов спроса в условиях сложности, неопределенности данных и частых режимных перемен. Для решения этой проблемы предлагается два пользовательских варианта оценочных функций: FMAE (Focused Mean Absolute Error) и HEF (Hierarchical Evaluation Function). Основное отличие этих функций заключается в том, что FMAE нацелен на минимизацию абсолютных ошибок для короткосрочных прогнозов, в то время как HEF рассчитана на глобальную оптимизацию, демпфируя большие отклонения и включая многомерную оценку. Опытные исследования показали, что HEF превосходит FMAE в глобальных показателях (R², Relative Accuracy, RMSE, RMSSE), обеспечивая более высокую точность прогноза и робастность модели. Однако FMAE превосходит HEF в местных показателях (MAE, MASE) и эффективности вычислений, что делает его более подходящим для короткосрочных задач. Таким образом, теоретические и практические результаты демонстрируют модельные требования и профили рисков, которые необходимо учитывать при выборе оптимального подхода к прогнозированию.

#### Контекст В классической искусственной интеллектуальной системе (AI), перцепция опирается на обучение статус-ориентированных представлений, в то время как планирование, или же терпиче себе логическое рассуждение по поводу последовательности действий, обычно реализуется с помощью поиска. Мы изучаем можно ли вовсе добиться такого рассуждения из-за представлений, которые охватывают как визуальный, так и временный составленный строки. Мы показываем, что стандартные методы терпиче себе контрастивного обучения, которые недавно стали популярными, часто не удается ловко обнаружить временную структуру из-за того, что они полагаются на ложные признаки. Для решения этой проблемы, мы предлагаем Combinatorial Representations for Temporal Reasoning (CRTR), метод, который при помощи схемы отрицательного выбора удаляет эти ложные признаки и способствует ловкому рассуждению времени. #### Метод CRTR основывается на сочетательной модели представления, которая использует отрицательный выбор для удаления ложных признаков. Также используется контрастивное обучение, но с целью улучшить структуру временного представления. Метод проверяется на разных задачах, в том числе на Sokoban и Rubik's Cube. Особенно для Rubik's Cube, CRTR выдает представления, которые могут общаться с любыми начальными состояниями и позволяют решить головоломку за меньшее количество поисковых шагов, чем BestFS, хотя решения могут быть более длинными. #### Результаты Мы проводили эксперименты на двух разных задачах, включая Sokoban и Rubik's Cube. На Rubik's Cube, CRTR смог решить головоломку за меньшее количество шагов по сравнению с BestFS, хотя решения требуют большего количества шагов. Это первый подход, который быстро решает абстрактные головоломки Rubik's Cube с помощью только выученных представлений, не опираясь на внешние поисковые алгоритмы. #### Значимость Метод CRTR может использоваться в различных областях, где требуется временное рассуждение, таких как игры, логические задачи и даже в рамках развития роботов. Он предлагает существенные преимущества перед существующими методами, такими как уменьшение поисковых шагов и повышение точности. Это может повлиять на развитие искусственного интеллекта, особенно в области исследований временных систем и логических задач. #### Выводы Мы представили новую методологию для временного рассуждения, которая позволяет удалить ложные признаки и улучшить структуру временного представления. Результаты показывают, что CRTR эффективно решает задачи, включая Rubik's Cube. Мы планируем продолжить изучение этого подхода, особенно в контексте более сложных задач, и расширить его применение в различных областях.

#### Контекст Современные веб-прокси, такие как NGINX, широко используются для оптимизации производительности интернет-ресурсов. Одной из ключевых задач этих систем является эффективное управление кэшем. Однако существующие методы управления кэшем, такие как метод наименее недавно использованных (LRU), часто сталкиваются с проблемами при обработке периодических потоков, разномасштабных объектов и ситуаций, когда объекты в кэше часто меняются. Эти проблемы приводят к понижению производительности и неэффективному использованию памяти. Необходимость в более гибких и эффективных стратегиях управления кэшем побудила разработку новых подходов, основанных на искусственном интеллекте и машинном обучении. #### Метод Для решения этой проблемы предлагается Cold-RL, новая стратегия управления кэшем, основанная на оффлайн-обучении с помощью резерентного градиентного сетевого сетевого алгоритма. Cold-RL использует ограниченный набор легковесных признаков, таких как возраст объекта, размер, число попаданий, время между появлениями, оставшийся TTL и время ответа на запрос, для принятия решений. Эти признаки эффективно захватывают ключевые аспекты характера трафика. Обучение происходит вне-живучего, используя реальные логи трафика NGINX, в которых каждое решение о выборе объекта для удаления получает награду в зависимости от его последующего использования. Требования к времени выполнения решения привели к разработке особых ограничений на производительность. Например, решение должно быть принято за менее 500 микросекунд, чтобы не влиять на общую производительность NGINX. #### Результаты Опытные испытания показали, что Cold-RL значительно повышает производительность кэша NGINX по сравнению с традиционными методами. На бенчмарке с 25 MB кэша, Cold-RL повысил уровень попаданий (hit ratio) с 0.1436 до 0.3538, что составляет приблизительно 146% рост по сравнению с наиболее эффективными классическими методами. На более крупных кэшах (100 MB), где LRU уже дает приемлемый результат, Cold-RL все равно повысил hit ratio на 15%. Интересно, что на больших кэшах (400 MB), Cold-RL стал сопоставим с классическими методами, достигая уровня примерно 0.918. Более того, время работы решения Cold-RL занимает менее 2% от общего времени обработки запросов, и 95-й перцентиль задержки вытеснения (eviction) остается в границах SLO. #### Значимость Заключенные результаты демонстрируют, что Cold-RL может быть успешно применен в средах с требованиями к высокой производительности и малым ограничениям времени. Он предлагается как более эффективно