Normative Moral Pluralism for AI: A Framework for Deliberation in Complex Moral Contexts
2508.08333v1
cs.CY, cs.AI
2025-08-14
Авторы:
David-Doron Yaacov
Резюме на русском
## Контекст
Научное исследование сосредоточено на развитии системы делиберативного морального разума, которая может обрабатывать сложные моральные ситуации. Эта проблема возникает в связи с ростом необходимости в морально направленных решениях в рамках машинного обучения и виртуальных ассистентов. Одним из главных источников мотивации является необходимость развития моделей, которые способны не только действовать в соответствии с моральными нормами, но и объяснять свои решения в зависимости от контекста. Существующие системы часто не в состоянии учитывать коллективную многообразие взглядов на моральные ценности, что приводит к ограниченности в реализации ценностного выравнивания (Value Alignment). Исследование предлагает рамку для решения этой проблемы, основанную на нормативном моральном плюрализме.
## Метод
Методология построена на основе нормативного морального плюрализма, который предполагает учет широкого спектра моральных перспектив. Технический подход включает разработку двухуровневой архитектуры: глобального и локального уровней. Глобальный уровень определяет маргины моральных норм через топо-донное и базо-верхнее обучение, а локальный уровень учитывает контекстные различия и культурные нормы. Архитектура разработана для работы в условиях времени ограничений и включает в себя модели, которые могут объяснять свои решения. Для обработки сложных моральных дилемм включены механизмы фильтрации и взвешивания аргументов, способных учитывать не только моральные, но и неморальные факторы.
## Результаты
Исследование основывается на экспериментах с различными ситуациями, включая сложные дилеммы, где необходимо учитывать множество факторов и участников. Данными для экспериментов пользовались ситуационные задачи, синтезированные для моделирования реальных сложностей. Результаты показали, что система демонстрирует возможность обоснованного морального решения, при этом умещаясь в рамки времени ограничений. Особое внимание уделено транспарентности решений и возможности их объяснения за счет принципиального подхода к разработке.
## Значимость
Предлагаемый подход имеет широкие теоретические и практические применения. Он может быть использован в области робототехники, виртуальных ассистентов, систем медицинского робототвода и даже в сфере юридических выводов. Одним из основных преимуществ является возможность учитывать культурно-зависимые нормы, что делает систему более включающей и реалистичной. Также система может в будущем стать основой для развития моделей, работающих в реальном времени, сочетая глубокую мора
Abstract
The conceptual framework proposed in this paper centers on the development of
a deliberative moral reasoning system - one designed to process complex moral
situations by generating, filtering, and weighing normative arguments drawn
from diverse ethical perspectives. While the framework is rooted in Machine
Ethics, it also makes a substantive contribution to Value Alignment by
outlining a system architecture that links structured moral reasoning to action
under time constraints. Grounded in normative moral pluralism, this system is
not constructed to imitate behavior but is built on reason-sensitive
deliberation over structured moral content in a transparent and principled
manner. Beyond its role as a deliberative system, it also serves as the
conceptual foundation for a novel two-level architecture: functioning as a
moral reasoning teacher envisioned to train faster models that support
real-time responsiveness without reproducing the full structure of deliberative
reasoning. Together, the deliberative and intuitive components are designed to
enable both deep reflection and responsive action. A key design feature is the
dual-hybrid structure: a universal layer that defines a moral threshold through
top-down and bottom-up learning, and a local layer that learns to weigh
competing considerations in context while integrating culturally specific
normative content, so long as it remains within the universal threshold. By
extending the notion of moral complexity to include not only conflicting
beliefs but also multifactorial dilemmas, multiple stakeholders, and the
integration of non-moral considerations, the framework aims to support morally
grounded decision-making in realistic, high-stakes contexts.
Ссылки и действия
Дополнительные ресурсы: