An Information-Flow Perspective on Explainability Requirements: Specification and Verification

## Контекст Объяснимость (explainability) систем является важной задачей в многоагентных системах, где агенты должны понимать причины заданных результатов. Объяснение позволяет агентам использовать информацию о причинах поведения системы для принятия более обоснованных решений. Однако объясняемость часто конфликтует с параллельной потребностью в защите приватности. Это создает необходимость в балансировке положительного (объясняемого) и отрицательного (скрываемого) потоков информации. Объясняемые системы должны предоставлять достаточно информации, чтобы агенты могли понять причины действий, но при этом не должны раскрывать личные данные. Это взаимоисключающий конфликт требует структурированного подхода к управлению информационным потоком. Наша методология основывается на использовании эпистемической логики, которая позволяет формализовать требования к объясняемости и поддерживать баланс между этими потоками. ## Метод Мы используем эпистемическую логику, расширенную для работы с многоагентными системами, для описания и проверки требований к объясняемости. Эта логика позволяет определять информационные требования к системе, позволяющие агентам получить знания о причинах возникшего эффекта. Мы рассматриваем два основных вида информационного потока: положительный (объясняемый) и отрицательный (приватный). Наша методика включает логическую модель, определяющую требования к системе и моделирующую различные сценарии информационного взаимодействия. Мы применяем техники моделирования и алгоритмической проверки для проверки соответствия системы этим требованиям. Это позволяет определить, является ли система объясняемой, и как может быть доработана для соответствия требованиям приватности. ## Результаты Мы проводили эксперименты с несколькими моделями систем и проверили их на соответствие требованиям объясняемости и приватности. Наши результаты показывают, что наш подход может отличать системы, которые объясняют свои действия, от тех, которые не могут этого делать. Мы также показали, что наш алгоритм может быть использован для формализации дополнительных требований к приватности и их проверки в рамках общей модели. Наши эксперименты демонстрируют, что наша методология позволяет более точно определять, какие системы удовлетворяют требованиям объясняемости, и как они могут быть модифицированы для более эффективного балансирования информационного потока. ## Значимость Наш подход может применяться в различных областях, где важно обеспечение баланса между объясняемостью и приватностью, таких