有限道德:定义道德计算的空间
一篇新论文提出了有限道德(Bounded Morality)框架,将有限理性扩展到道德认知领域,将伦理理论建模为在道德广度和深度之间权衡的局部高效策略。
论文《有限道德:定义道德计算的空间》近日在arXiv上发布,提交至AAAI-26机器学习伦理学研讨会。作者Max Kanwal等人提出了一个名为"有限道德"的形式化框架,用于分析有限智能体在道德问题上的计算需求。该框架受赫伯特·西蒙的有限理性概念启发,将道德情境沿着两个正交维度进行形式化:道德广度(涉及道德相关实体的范围)和道德深度(评估实体互动所需推理的整合程度)。有限资源在这两个维度之间施加了不可避免的权衡,从而定义了道德计算的可行空间。在该空间内,不同的伦理理论(如义务论、后果主义、美德伦理学)不再是互斥的真理描述,而是适应不同需求体制的局部高效策略。该框架还提供了道德遗憾和约束下道德进步的形式化概念,并指出人工智能系统的道德对齐应侧重于道德推理能力的规模化与分配,而非直接模仿人类判断。该论文共24页,包含2张图,为AI伦理研究提供了新的理论视角,并可能对模型选型、推理成本及AI对齐方法产生深远影响。在人工智能日益普及的今天,如何让AI系统做出符合人类道德的决策成为重要课题。传统方法通常将道德认知建模为对固定伦理理论的遵循,如义务论、后果主义或美德伦理学,并通过静态规则或价值函数实现。然而,这种建模方式忽略了有限智能体面临的计算资源限制。现实生活中,人们常需要在有限时间、信息或计算能力下做出道德判断。受此启发,Max Kanwal等人提出了有限道德(Bounded Morality)框架,将赫伯特·西蒙的有限理性概念扩展至道德领域。该框架定义了道德广度和道德深度两个正交维度。道德广度指被道德考量所覆盖的实体范围,例如是否包括非人类动物或未来世代;道德深度指评估实体间交互所需的推理整合程度,例如简单的单向影响还是复杂的多步反馈。资源限制使得这两个维度之间存在不可避免的权衡:要覆盖更广的范围,往往需要牺牲推理的深度,反之亦然。这一权衡界定了道德计算的可行空间。在此空间内,不同的伦理理论被重新解释为适应不同需求体制的局部高效策略,而非竞争性的道德真理。例如,在时间紧迫的情况下,义务论规则可能更高效;而在有足够资源时,后果主义的全局评估可能更优。框架还形式化了道德遗憾(即由于资源限制而无法实现最优道德决策)和约束下的道德进步(即通过扩大资源或改进策略来减少遗憾)。这一观点对AI对齐具有重要意义:它暗示我们应该致力于扩展和合理分配AI系统的道德推理能力,而不是试图完美模仿人类判断。该论文提交至AAAI-26机器学习伦理学研讨会,共24页,包含2幅示意图。它为AI伦理研究提供了一个全新的理论工具,可能对模型设计、推理成本评估以及AI对齐基准的制定产生深远影响。