📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Teodor Chiaburu, Vipin Singh, Frank Haußer, Felix Bießmann

## КОНТЕКСТ И ПРОБЛЕМАТИКА Классификация горизонтов почвы является важной задачей в эмпирических науках, так как она играет ключевую роль в мониторинге состояния почвы, что влияет на сельскохозяйственную продуктивность, безопасность продовольствия, стабильность экосистем и устойчивость к изменению климата. Однако этот процесс представляет собой сложную задачу, требующую учета мультимодальных данных, таких как изображения и геотемпоральные метаданные, а также сложной иерархической структуры горизонтов почвы. Традиционные методы классификации горизонтов часто сталкиваются с проблемами, связанными с большим количеством возможных лейблов, дисбаллансом данных и нелинейными взаимосвязями между горизонтами. Недавние достижения в области фаундэйшен-моделей показали выдающиеся результаты во многих областях, но эти модели еще не были эффективно применены к задачам, требующим учета сложной иерархической структуры данных, как это требуется для классификации горизонтов почвы. Таким образом, необходимо разработать модель, которая может эффективно обрабатывать мультимодальные входные данные, обрабатывать иерархические структуры лейблов и обеспечить высокую точность классификации. ## ПРЕДЛОЖЕННЫЙ МЕТОД В этой работе авторы представляют $\textit{SoilNet}$, мультимодальную мультизадачную модель, предназначенную для классификации горизонтов почвы. Модель состоит из нескольких модулей, каждый из которых выполняет определенную функцию. В первую очередь, модель использует изображения и геотемпоральные метаданные для предсказания глубинных маркеров, которые помогают разделить почвенный профиль на кандидаты на горизонты. Каждый сегмент получает набор морфологических черт, специфичных для горизонта. Далее, для каждого сегмента предсказывается лейбл горизонта, используя вектор мультимодальных фич, полученных из изображений и метаданных. Одним из ключевых элементов модели является использование графового представления лейблов для учета сложной иерархической структуры горизонтов. Это позволяет модели эффективно обрабатывать большое количество возможных лейблов, а также учитывать их нелинейные взаимосвязи. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на реальном датасете почвенных профилей, чтобы оценить эффективность $\textit{SoilNet}$. Для этого использовались данные, включающие изображения почвы и геотемпоральные метаданные. Модель демонстрирует высокую точность классификации, превосходя существующие подходы, особенно в случаях с большим количеством лейблов и дисбаллансом данных. Результаты показывают, что интеграция изображений и метаданных, а также использование графового представления лейблов значительно улучшают качество классификации. Модель показала стабильные результаты даже в сложных сценариях, где требуется учет многих взаимосвязанных горизонтов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ $\textit{SoilNet}$ имеет широкое применение в сельскохозяйственной и экологической науке. Точная классификация горизонтов почвы помогает в мониторинге состояния почвы, что важно для повышения сельскохозяйственной продуктивности, обеспечения безопасности продовольствия и поддержания экосистемной стабильности. Кроме того, модель может быть использована для мониторинга изменений в почве в зависимости от условий климата, что делает ее инструментом для климатической резильентности. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В этой работе была представлена $\textit{SoilNet}$, модель, эффективно решающая задачу классификации горизонтов почвы с помощью мультимодальных входных данных и графового представления лейблов. Будущие исследования могут фокусироваться на дальнейшем улучшении модели, включая использование более крупных датасетов и расширение модели для учета еще более сложных иерархических структур.
Annotation:
While recent advances in foundation models have improved the state of the art in many domains, some problems in empirical sciences could not benefit from this progress yet. Soil horizon classification, for instance, remains challenging because of its multimodal and multitask characteristics and a complex hierarchically structured label taxonomy. Accurate classification of soil horizons is crucial for monitoring soil health, which directly impacts agricultural productivity, food security, ecosyst...
ID: 2508.03785v1 cs.LG, cs.AI
Авторы:

Willem Fourie

## КОНТЕКСТ И ПРОБЛЕМАТИКА В настоящее время регуляция искусственного интеллекта (ИИ) в большей степени сосредоточена на понятии "ответственный ИИ", где основной акцент делается на снижении рисков, связанных с разработкой и использованием ИИ. Хотя это направление важно и необходимо, оно не позволяет полноценно оценить и измерить влияние ИИ на общество в целом. Данная статья выступает за расширение этого подхода, предлагая фреймворк для оценки социального воздействия ИИ, основанный на понятии "свобода" как концептуального контраста к "ответственности". Автор подчеркивает, что существующие подходы к оценке рисков могут быть недостаточными для понимания широкого спектра воздействий ИИ на общество, включая положительные и негативные изменения в различных сферах жизни. Основная мотивация статьи заключается в том, чтобы разработать предварительный фреймворк (proto-framework) для систематической оценки социального воздействия ИИ, который может быть использован в контексте политического регулирования. Автор также подчеркивает важность интеграции этических и философских концепций, таких как свобода, в дискурс регуляции ИИ. ## ПРЕДЛОЖЕННЫЙ МЕТОД В качестве основы для своего фреймворка автор использует концепцию "свободы", развиваемую в рамках кантианской философии и современных интерпретаций. Свобода рассматривается в двух основных измерениях: "свобода как способность" (freedom as capability) и "свобода как возможность" (freedom as opportunity). Эти измерения позволяют охватить различные аспекты влияния ИИ на общество, включая его возможность расширять или ограничивать человеческие возможности. Предлагаемый фреймворк предлагает систематический подход к оценке социального воздействия ИИ, основанный на Целях устойчивого развития (Sustainable Development Goals, SDGs). Этот подход позволяет оценивать влияние ИИ на общество с точки зрения его вклада в достижение этих целей, а также выявлять потенциальные риски и выгоды. Фреймворк также предлагает методику для операционализации концепции свободы в контексте регуляции ИИ, что является важной шагом к созданию полноценной системы оценки. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В статье не приводятся конкретные экспериментальные результаты, однако автор предлагает методологию для применения фреймворка на практике. Он предлагает использовать SDGs как рамку для оценки влияния ИИ на общество, что позволяет выявить области, где ИИ может иметь положительное или негативное воздействие. Автор также предлагает использовать этот фреймворк в качестве инструмента для политического регулирования, чтобы обеспечить более широкую и сбалансированную оценку влияния ИИ. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предлагаемый фреймворк имеет значительный практический потенциал для регуляции ИИ. Он может быть использован для оценки социального воздействия ИИ в различных сферах, включая здравоохранение, образование, экономику и окружающую среду. Интеграция концепции свободы в регуляцию ИИ может помочь создать более целостную и этически обоснованную систему оценки, которая будет учитывать не только риски, но и положительные аспекты ИИ. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Основным достижением данной работы является предложение предварительного фреймворка для оценки социального воздействия ИИ, основанного на концепции свободы. Этот фреймворк может стать важной составляющей будущих исследований и разработок в области регуляции ИИ. Автор также выделяет необходимость дальнейшего развития этого фреймворка, включая его операционализацию и применение в реальных условиях. Будущие исследования могут фокусироваться на том, как этот фреймворк может быть интегрирован в существующие системы регуляции и как он может влиять на разработку более эффективных политик в области ИИ.
Annotation:
In the discourse on AI regulation, 'responsible AI' is the dominant paradigm, with the focus on mitigating the risks related to AI systems. While this focus is important and necessary, it has limited use for a systematic consideration of AI's societal impact. This paper proposes a proto-framework for assessing the societal impact of AI systems by operationalising the concept of freedom. This proto-framework is intended as a step towards a fully operationalised framework to be used in policymakin...
ID: 2508.03666v2 cs.CY, cs.AI, cs.ET
Авторы:

Lili Chen, Mihir Prabhudesai, Katerina Fragkiadaki, Hao Liu, Deepak Pathak

## КОНТЕКСТ И ПРОБЛЕМАТИКА Развитие языковых моделей (Large Language Models, LLM) традиционно связано с их обучением на больших корпусах данных. Однако создание и поддержка таких наборов данных представляет собой сложную и ресурсоемкую задачу. Также существует проблема переобучения моделей на конкретных данных, что может ограничивать их способность к обобщению. Кроме того, существует требование к моделям быть способными к решению новых, невиданных задач, что требует развития их способностей к логическому мышлению и критическому анализу. В этой статье авторы предлагают Self-Questioning Language Models (SQLM), метод, который позволяет языковым моделям улучшать свои способности к логическому мышлению без доступа к внешним данным. Основная идея заключается в том, что модель может самостоятельно генерировать задачи и подзадачи, а затем пытаться решить их. Этот процесс позволяет модели развиваться за счет собственных внутренних ресурсов, не зависящих от внешних источников данных. Авторы сформулировали гипотезу, что при правильном подходе модель может улучшить свои способности к решению задач, просто генерируя сама задания и отвечая на них. Для этого используется метод asymmetric self-play, где две части модели — proposer (генерирующая задачи) и solver (решающая их) — взаимодействуют между собой. Этот подход позволяет модели развиваться в условиях, где у нее нет доступа к специально подготовленным данным. ## ПРЕДЛОЖЕННЫЙ МЕТОД Self-Questioning Language Models (SQLM) представляют собой фреймворк, основанный на asymmetric self-play. Этот метод включает в себя две основные компоненты: proposer и solver. Proposer отвечает за генерацию заданий (вопросов), а solver — за их решение. Обе компоненты обучаются с помощью reinforcement learning (обучения с подкреплением). Proposer получает заданную тему (например, "алгебра" или "программирование") и генерирует задачу, которую необходимо решить. Затем, solver пытается ответить на задачу. Proposer получает награду, если задача не слишком легкая и не слишком сложная для решения. Это позволяет поощрять генерацию задач, которые находятся на оптимальном уровне сложности. Solver, в свою очередь, получает награду на основе того, насколько правильно он решил задачу. Для этого используется метод "мажоритарного голосования" (majority voting), который служит прокси-метрикой для правильности ответа, когда нет доступа к "истинным" ответам. Для задач программирования, proposer может генерировать unit tests (модульные тесты), которые используются для проверки правильности решения solver. Это позволяет создать замкнутую систему, где модель может развиваться через самообучение. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на трех разных бенчмарках: 1. **Трехзначное умножение** (three-digit multiplication): Этот бенчмарк состоит из математических задач, требующих умножения трехзначных чисел. 2. **Алгебра** (OMEGA benchmark): Этот бенчмарк содержит более сложные алгебраические задачи. 3. **Программирование** (Codeforces): Этот бенчмарк включает задачи по программированию, которые требуют написания кода. Результаты показали, что SQLM может улучшить свои результаты на этих бенчмарках без использования внешних данных. Модель стала лучше в решении задач по мере того, как продолжалось обучение через asymmetric self-play. Это показывает, что модель может развиваться за счет собственных внутренних ресурсов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Self-Questioning Language Models (SQLM) могут быть применены в различных областях, где необходимо улучшение способностей моделей к логическому мышлению без доступа к внешним данным. Например, это может быть полезно в области образования, где модели могут генерировать сами задания для студентов и помогать им в решении. Кроме того, SQLM может быть полезен в области программирования, где модели могут генерировать unit tests и проверять код. Это может улучшить качество программных продуктов, уменьшив количество ошибок. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ SQLM показывает, что языковые модели могут развиваться за счет собственных внутренних ресурсов, не требуя доступа к внешним данным. Это открывает новые перспективы для исследования и развития моделей, особенно в ситуациях, когда доступ к большим корпусам данных ограничен. В будущем, этот метод может быть расширен для решения более сложных задач, а также для исследования других форм самообучения. Это может привести к новым подходам в области обучения ИИ, где модели могут развиваться без необходимости постоянного обновления внешних наборов данных.
Annotation:
Can large language models improve without external data -- by generating their own questions and answers? We hypothesize that a pre-trained language model can improve its reasoning skills given only a single prompt specifying the topic (e.g., algebra word problems) and asking the model to generate its own questions. To do this, we propose Self-Questioning Language Models (SQLM): an asymmetric self-play framework where a proposer is given the topic and generates a question for a solver, who tries...
ID: 2508.03682v2 cs.LG, cs.AI
Авторы:

Toby Walsh

Механизмы расположения объектов (facility location problem) часто используются для оптимизации решений в различных сферах. В статье авторы рассматривают модели, использующие прогнозы о местоположении оптимального объекта, чтобы улучшить результаты. Они изучают две основные меры эффективности: согласованность (отклонение в результатах при точных прогнозах) и робастность (отклонение при неточных прогнозах). Авторы показывают, как эти меры могут быть сбалансированы путем регулирования параметров механизма. Кроме того, они расширяют исследования за пределы проблемы одного объекта, предлагая новые стратегически безопасные механизмы для расположения двух объектов, использующие два прогноза. Таким образом, работа демонстрирует возможность значительного повышения эффективности с использованием прогнозирования и стратегического балансирования показателей.
Annotation:
We study mechanisms for the facility location problem augmented with predictions of the optimal facility location. We demonstrate that an egalitarian viewpoint which considers both the maximum distance of any agent from the facility and the minimum utility of any agent provides important new insights compared to a viewpoint that just considers the maximum distance. As in previous studies, we consider performance in terms of consistency (worst case when predictions are accurate) and robustness (w...
ID: 2508.03818v1 cs.GT, cs.AI
Авторы:

Yifei Zong, Alexandre M. Tartakovsky

Решение задач параметрических нелинейных уравнений в частных производных (ПДЕ) требует высокоэффективных и точных методов. В этой работе предлагается модель VAE-DNN, которая является тренируемой по частям суррогатной моделью для решения прямых и обратных задач. Она использует архитектуру вариативного автоэнкодера (VAE), состоящую из энкодера, полносвязной нейронной сети и декодера. Энкодер сжимает высокоразмерный вход $y(\bm{x})$ в латентное пространство $\bm\mu_{\bm\phi_y}$, затем нейросеть отображает его в пространство $\bm\mu_{\bm\phi_h}$ решения ПДЕ $h(\bm{x},t)$, которое восстанавливается декодером. Отдельная тренировка каждого компонента существенно сокращает время и энергию по сравнению с лидирующими моделями FNO и DeepONet. Исследования показывают, что VAE-DNN превосходит их по точности и эффективности в решении уравнений течения грунтовых вод.
Annotation:
We propose a trainable-by-parts surrogate model for solving forward and inverse parameterized nonlinear partial differential equations. Like several other surrogate and operator learning models, the proposed approach employs an encoder to reduce the high-dimensional input $y(\bm{x})$ to a lower-dimensional latent space, $\bm\mu_{\bm\phi_y}$. Then, a fully connected neural network is used to map $\bm\mu_{\bm\phi_y}$ to the latent space, $\bm\mu_{\bm\phi_h}$, of the PDE solution $h(\bm{x},t)$. Fin...
ID: 2508.03839v1 cs.LG, cs.AI, cs.CE, 68
Авторы:

Charles L. Wang, Trisha Singhal, Ameya Kelkar, Jason Tuo

## КОНТЕКСТ И ПРОБЛЕМАТИКА Agentic AI systems, способные к рациональному принятию решений, планированию и исполнению действий, представляют собой новую категорию искусственного интеллекта, которая значительно отличается от традиционных моделей ИИ. Эти системы обладают высокой автономией и призваны выполнять сложные задачи в динамических средах, однако их рациональность может приводить к непредвиденным или нежелательным поведениям во время выполнения. Такое поведение может вызывать риски безопасности, выход за рамки заданных целей и даже конфликты с этическим кодексом. Существующие методы руководства и контроля ИИ, разработанные для традиционных моделей, не в состоянии эффективно справиться с рисками, возникающими в процессе работы agentic систем. Они основываются на предварительном тестировании и статических процедурах управления, которые не могут предугадать все возможные сценарии возникновения проблем в режиме реального времени. Эта проблема особенно остра в контексте развертывания agentic систем в критически важных областях, таких как здравоохранение, финансы и автономные транспортные системы, где ошибки могут иметь серьезные последствия. Насущной необходимостью является создание эффективного и гибкого фреймворка для управления такими системами в режиме реального времени, обеспечивающего их безопасность и соответствие заданным целям. MI9 предлагается как первый полноценный фреймворк, специально разработанный для решения проблем руководства и контроля agentic систем во время их работы. ## ПРЕДЛОЖЕННЫЙ МЕТОД MI9 представляет собой инновационный фреймворк, предназначенный для обеспечения безопасности и выравнивания agentic систем в режиме реального времени. Он состоит из шести ключевых компонентов, которые работают совместно для обеспечения комплексного управления. 1. **Agency-Risk Index (Индекс риска агентства)** оценивает потенциальные риски, связанные с автономным поведением агента, путем мониторинга его действий в контексте своих целей и ограничений. 2. **Agent-Semantic Telemetry Capture (Сбор семантической телеметрии агента)** позволяет захватывать детальные данные о поведении агента, включая его решения, состояния и взаимодействия с внешней средой. 3. **Continuous Authorization Monitoring (Непрерывный мониторинг авторизации)** обеспечивает постоянный контроль над правами доступа и действий агента, предотвращая неавторизованные или нежелательные операции. 4. **Finite-State-Machine (FSM)-Based Conformance Engines (Механизмы соответствия на основе конечного автомата)** используют модели конечных автоматов для проверки соответствия поведения агента заранее заданным стандартам и правилам. 5. **Goal-Conditioned Drift Detection (Обнаружение смещений, условий целей)** отслеживает изменения в поведении агента, которые могут привести к отклонению от заданных целей. 6. **Graduated Containment Strategies (Последовательные стратегии контейнеризации)** обеспечивают постепенное ограничение или блокирование действий агента при обнаружении потенциальных рисков. MI9 работает в рамках транспарентной архитектуры, позволяющей интегрироваться с различными архитектурами agentic систем, обеспечивая их безопасное и эффективное использование. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для проверки эффективности MI9 была проведена серия экспериментов на динамических сценариях, имитирующих реальные условия работы agentic систем. Использовались данные из различных доменов, включая здравоохранение, финансы и автономные транспортные системы. В результате MI9 показал высокую эффективность в обнаружении и устранении потенциальных рисков, связанных с непредвиденным поведением агентов. Например, в ситуации, когда агент выходил за рамки заданных целей, MI9 успешно применил стратегии контейнеризации, предотвратив нежелательные последствия. Также, система эффективно выявляла смещения в поведении агентов, обеспечивая их быструю коррекцию. Эксперименты также показали, что MI9 может быть легко интегрирован в различные системы, не требуя существенных изменений в их архитектуре. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ MI9 имеет широкое применение в критически важных сферах, где требуется высокая надежность и безопасность работы agentic систем. Например, в здравоохранении MI9 может обеспечить безопасное принятие решений медицинскими агентами, в финансовой сфере – предотвращать фрауд и непредвиденные риски, а в автономных транспортных системах – гарантировать безопасность пассажиров. Ключевым преимуществом MI9 является его способность обеспечить непрерывный контроль и быстрое реагирование на непредвиденные ситуации, что делает его незаменимым инструментом для безопасного развертывания agentic систем в производственной среде. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ MI9 является важным шагом в развитии безопасного и эффективного управления agentic системами. Он обеспечивает комплексное решение для управления рисками и обеспечения соответствия заданным целям. Будущие исследования могут фокусироваться на улучшении моделей обнаружения рисков, адаptive контроля и расширении областей применения MI9.
Annotation:
Agentic AI systems capable of reasoning, planning, and executing actions present fundamentally distinct governance challenges compared to traditional AI models. Unlike conventional AI, these systems exhibit emergent and unexpected behaviors during runtime, introducing novel agent-related risks that cannot be fully anticipated through pre-deployment governance alone. To address this critical gap, we introduce MI9, the first fully integrated runtime governance framework designed specifically for s...
ID: 2508.03858v1 cs.AI, cs.ET, cs.MA
Авторы:

Subhey Sadi Rahman, Md. Adnanul Islam, Md. Mahbub Alam, Musarrat Zeba, Md. Abdur Rahman, Sadia Sultana Chowa, Mohaimenul Azam Khan Raiaan, Sami Azam

## КОНТЕКСТ И ПРОБЛЕМАТИКА Large Language Models (LLMs) представляют собой мощные инструменты, обученные на обширных наборах данных, содержащих информацию из Интернета. Однако эти данные часто содержат неточности или вводят в заблуждение, что приводит к риску генерирования недостоверной информации. Такие неточности, известные как "hallucinations", создают серьезные проблемы в применении LLMs в критически важных областях, таких как медицина, право, и образование. Учитывающие необходимость обеспечить надежность и точность генерируемого контента, исследователи сталкиваются со сложностями, связанными с оценкой фактологичности выходных данных LLMs. Основные проблемы включают ограниченность существующих наборов данных для факт-чекинга, недостаточное качество метрик оценки фактологичности, и невозможность гарантировать, что выходные данные LLMs будут соответствовать достоверным источникам. Дополнительные сложности возникают из-за того, что LLMs часто генерируют ответы, основанные на контекстных или выдуманных сценариях, не подтвержденных фактическими данными. Это вызывает необходимость разработки систем факт-чекинга, которые могут эффективно выявлять и корректировать недостоверную информацию. Мотивацией данного обзора является необходимость создания надежных систем факт-чекинга для LLMs, способных обеспечить высокую точность и достоверность генерируемого контента. Это подчеркивает важность интеграции различных методологий, таких как instruction tuning, multi-agent reasoning, и retrieval-augmented generation (RAG), для улучшения фактуальности и надежности LLMs. ## ПРЕДЛОЖЕННЫЙ МЕТОД В обзоре рассматривается широкий спектр методов, направленных на улучшение фактологичности LLMs. Одним из ключевых подходов является использование **instruction tuning**, где модели обучаются на заданных инструкциях для повышения точности. Этот метод позволяет LLMs лучше понимать контекстные запросы и генерировать более точные ответы. Другой важный подход – **multi-agent reasoning**, где несколько агентов (частей модели) взаимодействуют для проверки и подтверждения фактов. Этот метод позволяет LLMs более глубоко анализировать информацию и выявлять неточности в выходных данных. Кроме того, **retrieval-augmented generation (RAG)** подразумевает использование внешних источников данных для подкрепления генерируемого контента. RAG-фреймворки позволяют LLMs получать доступ к проверенным и надежным источникам, что улучшает фактологичность их выходных данных. Обзор также рассматривает **domain-specific fine-tuning**, который позволяет LLMs быть более адаптированными к конкретным областям, таким как медицина или право. Это помогает уменьшить вероятность генерации недостоверной информации в специфических контекстах. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В рамках обзора представлены результаты экспериментов, проведенных с использованием различных наборов данных и методов оценки фактологичности LLMs. Исследования показывают, что текущие метрики фактологичности не всегда точно отражают качество генерируемого контента, особенно в случаях, когда информация является контекстно-зависимой. Кроме того, эксперименты показывают, что использование RAG-фреймворков и domain-specific fine-tuning значительно повышает точность и достоверность выходных данных LLMs. Исследователи также отмечают, что интеграция внешних источников данных помогает снизить вероятность генерации недостоверной информации. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Результаты обзора подчеркивают важность факт-чекинга для обеспечения надежности LLMs в различных приложениях, таких как медицинские диагностики, юридические консультации, и образовательные ресурсы. Интеграция RAG-фреймворков и domain-specific fine-tuning может значительно повысить качество генерируемого контента, что делает LLMs более полезными в реальных сценариях. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Основным достижением данного обзора является выявление ключевых проблем и потенциальных решений в области фактологичности LLMs. Будущие исследования должны фокусироваться на разработке более точных метрик, интеграции внешних источников данных, и разработке специализированных моделей для конкретных областей. Это поможет создать более надежные и точные LLMs, способные генерировать достоверную информацию в различных контекстах.
Annotation:
Large Language Models (LLMs) are trained on vast and diverse internet corpora that often include inaccurate or misleading content. Consequently, LLMs can generate misinformation, making robust fact-checking essential. This review systematically analyzes how LLM-generated content is evaluated for factual accuracy by exploring key challenges such as hallucinations, dataset limitations, and the reliability of evaluation metrics. The review emphasizes the need for strong fact-checking frameworks tha...
ID: 2508.03860v1 cs.CL, cs.AI, cs.LG
Авторы:

Zhenyu Pan, Yiting Zhang, Yutong Zhang, Jianshu Zhang, Haozheng Luo, Yuwei Han, Dennis Wu, Hong-Yu Chen, Philip S. Yu, Manling Li, Han Liu

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Мультиагентные системы (MAS), построенные на основе мультимодальных больших языковых моделей (MLLM), демонстрируют высокую степень кооперации и эффективность в выполнении сложных задач. Однако с ростом открытости и сложности взаимодействий в этих системах возрастают риски, такие как jailbreak-атаки и адверсариальные противодействия. Традиционные методы защиты часто основываются на внешних модулях-защитниках, называемых safety agents, которые отвечают за обработку небезопасных поведений. Однако этот подход сталкивается со двумя ключевыми проблемами: (1) автономные защитные агенты предлагают ограниченную защиту, и (2) их независимость создает уязвимость к системным сбоям — если один из них скомпрометирован, вся система может быть подвержена риску. Попытки решить эти проблемы путем увеличения количества защитных агентов приводят к повышению стоимости и усложнению системы. Кроме того, отдельно существующие защитные модули не всегда эффективны в обеспечении комплексной безопасности. Эти проблемы подчеркивают необходимость разработки более эффективных методов, которые бы обеспечивали внутреннюю безопасность MAS без необходимости внешних защитных компонентов. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения вышеописанных проблем предлагается **Evo-MARL** — новаторский фреймворк для мультиагентного обучения с подкреплением (MARL), основанный на ко-эволюционной парадигме. Evo-MARL позволяет всем агентам в системе одновременно выполнять свои основные функции и сопротивляться адверсариальным угрозам. Основная инновация заключается в том, что безопасность не делегируется внешним модулям, а интернализируется непосредственно внутри каждого агента. Evo-MARL сочетает эволюционный поиск с параметрическим общим обучением. Это позволяет "совместной эволюции" атакующих и защитных агентов, что стимулирует развитие более сильных защитных механизмов. В процессе обучения каждый агент улучшает свои возможности не только в рамках своего первичного функционала, но также развивает способность противостоять внешним угрозам. Этот подход не только повышает эффективность системы в целом, но и устраняет риск системного сбоя, связанный с компрометацией отдельных защитных модулей. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Эксперименты проводились для оценки эффективности Evo-MARL в условиях реальных угроз. Результаты показали, что система уменьшает успешность атак на 22%, а точность выполнения задач резонующих при этом увеличивается на 5%. Эти результаты демонстрируют, что безопасность и утилитарность могут быть достигнуты одновременно, не требуя дополнительного оверхеда или сложности в системе. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Evo-MARL открывает новые возможности для применения в критически важных областях, таких как автономные транспортные системы, робототехника и кибербезопасность. Его способность обеспечить внутреннюю безопасность без дополнительных внешних модулей делает его привлекательным для систем, требующих высокой надёжности и низкого риска сбоев. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Evo-MARL является важной шагом в развитии безопасных мультиагентных систем. Будущие исследования могут сосредоточиться на дальнейшем улучшении эволюционных алгоритмов и расширении областей применения этой технологии.
Annotation:
Multi-agent systems (MAS) built on multimodal large language models exhibit strong collaboration and performance. However, their growing openness and interaction complexity pose serious risks, notably jailbreak and adversarial attacks. Existing defenses typically rely on external guard modules, such as dedicated safety agents, to handle unsafe behaviors. Unfortunately, this paradigm faces two challenges: (1) standalone agents offer limited protection, and (2) their independence leads to single-p...
ID: 2508.03864v1 cs.AI
Авторы:

Wesley Brewer, Murali Meena Gopalakrishnan, Matthias Maiterth, Aditya Kashi, Jong Youl Choi, Pei Zhang, Stephen Nichols, Riccardo Balin, Miles Couchman, Stephen de Bruyn Kops, P. K. Yeung, Daniel Dotson, Rohini Uma-Vaideswaran, Sarp Oral, Feiyi Wang

**Резюме** Современные вычислительные задачи, включая обработку турбулентных данных, сталкиваются с ограничениями энергоемкости и вычислительной сложности. Это приводит к необходимости эффективных методов обработки и научного анализа таких данных. В статье предлагается SICKLE — инновационный фреймворк для уменьшения объема данных при обучении с подбором информативных выборок с помощью максимальной энтропии (MaxEnt). Фреймворк использует спарсе Sampling и адаптивные методы обучения, позволяющие поддерживать высокую точность моделей, но с меньшим потреблением ресурсов. На больших наборах данных DNS турбулентности, протестированных на Frontier, MaxEnt показал существенные выигрыши в точности моделей и энергоэффективности — до 38 раз уменьшение потребления энергии по сравнению с случайным и фазовым пространственным семплингом. Это решение демонстрирует значительный потенциал для ускорения и экономии ресурсов в обработке турбулентных данных с помощью AI.
Annotation:
With the end of Moore's law and Dennard scaling, efficient training increasingly requires rethinking data volume. Can we train better models with significantly less data via intelligent subsampling? To explore this, we develop SICKLE, a sparse intelligent curation framework for efficient learning, featuring a novel maximum entropy (MaxEnt) sampling approach, scalable training, and energy benchmarking. We compare MaxEnt with random and phase-space sampling on large direct numerical simulation (DN...
ID: 2508.03872v1 cs.LG, cs.AI, cs.DC
Авторы:

Arturo Sánchez-Matas, Pablo Escribano Ruiz, Daniel Díaz-López, Angel Luis Perales Gómez, Pantaleone Nespoli, Gregorio Martínez Pérez

## КОНТЕКСТ И ПРОБЛЕМАТИКА В современном цифровом мире организации сталкиваются с постоянно эволюционирующими киберугрозами, которые требуют инновационных подходов к обеспечению безопасности. Одной из ключевых проблем является обнаружение скрытых векторов атак и уязвимостей систем до того, как они могут быть использованы злоумышленниками. Традиционные методы тестирования и моделирования атак часто оказываются недостаточными для обеспечения надлежащего уровня защиты в условиях реальных угроз. Появление Security Chaos Engineering (SCE) открыло новые возможности для проверки надежности и эффективности защитных механизмов. SCE позволяет командам безопасности активно тестировать их системы, внедряя контролируемые сбои и аномалии, чтобы выявить слабые места. Однако, несмотря на перспективность этого подхода, его полный потенциал может быть полностью реализован только в сочетании с другими инновационными методами, такими как Breach Attack Simulation (BAS). BAS-платформы предназначены для моделирования реальных кибератак, позволяя организациям оценить свои системы защиты в условиях, максимально приближенных к реальности. Тем не менее, существующие решения BAS часто ограничены предопределенными сценариями и не всегда учитывают динамическую природу современных угроз. Интеграция SCE в BAS может стать решающим шагом к созданию более гибких и эффективных систем моделирования атак, которые будут учитывать не только известные, но и потенциальные уязвимости. Цель данного исследования — предложить архитектуру, которая объединяет SCE и BAS, используя данные из существующих баз телеметрии угроз, таких как MITRE Caldera. Это позволяет создавать динамические, адаптивные модели атак, которые могут существенно улучшить эффективность киберзащиты. ## ПРЕДЛОЖЕННЫЙ МЕТОД Предлагаемый метод основывается на интеграции SCE и BAS через трехслойную архитектуру. Первый слой — **SCE Orchestrator** — отвечает за управление экспериментами по Security Chaos Engineering. Он формирует контролируемые сбои и аномалии в системе для тестирования ее устойчивости. Второй слой — **Connector** — служит мостом между SCE и BAS. Он обеспечивает интеграцию данных из SCE в BAS-платформу, позволяя создавать динамические модели атак, основанные на реальных условиях системы. Третий слой — **BAS** — реализует функционал моделирования атак, используя MITRE Caldera. Этот слой выполняет автоматизированные последовательности атак, строит инференсные деревья атак на основе профилей злоумышленников и их способностей. Интегрированная система позволяет проводить симуляции атак, которые не только имитируют реальные угрозы, но и адаптируются к изменяющимся условиям системы. Это обеспечивает более комплексное тестирование и повышает эффективность киберзащиты. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного подхода были проведены серии экспериментов. В этих экспериментах использовались реальные данные из систем безопасности, а также сценарии атак, основанные на профилях злоумышленников из MITRE Caldera. Результаты показали, что интеграция SCE с BAS позволяет выявить более сложные и скрытые векторы атак, которые могут быть пропущены традиционными методами. Автоматизированные атаки, сгенерированные системой, демонстрируют высокую точность и эффективность в выявлении уязвимостей. Кроме того, использование инференсных деревьев атак позволило оптимизировать процесс идентификации и классификации угроз, что существенно повышает эффективность реагирования на инциденты. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Интеграция SCE и BAS открывает новые возможности для киберзащиты. Этот подход может быть применен в различных отраслях, где критически важно обеспечить высокую степень защиты систем от киберугроз. Преимущества этого подхода включают в себя улучшенную идентификацию уязвимостей, более эффективное тестирование защитных механизмов и повышение уровня готовности к реальным кибератакам. Это может быть особенно полезно для крупных корпоративных сетей, финансовых учреждений и критически важных инфраструктур. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Интеграция SCE и BAS представляет собой прорыв в области киберзащиты, позволяющий создавать более динамические и эффективные системы моделирования атак. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры, внедрении машинного обучения для анализа данных атак и расширении областей применения этого подхода.
Annotation:
In today digital landscape, organizations face constantly evolving cyber threats, making it essential to discover slippery attack vectors through novel techniques like Security Chaos Engineering (SCE), which allows teams to test defenses and identify vulnerabilities effectively. This paper proposes to integrate SCE into Breach Attack Simulation (BAS) platforms, leveraging adversary profiles and abilities from existing threat intelligence databases. This innovative proposal for cyberattack simula...
ID: 2508.03882v1 cs.CR, cs.AI
Показано 33661 - 33670 из 34022 записей