論文《有限道德:定義道德計算的空間》近日在arXiv上發佈,提交至AAAI-26機器學習倫理學研討會。作者Max Kanwal等人提出了一個名為"有限道德"的形式化框架,用於分析有限智能體在道德問題上的計算需求。該框架受赫伯特·西蒙的有限理性概念啓發,將道德情境沿着兩個正交維度進行形式化:道德廣度(涉及道德相關實體的範圍)和道德深度(評估實體互動所需推理的整合程度)。有限資源在這兩個維度之間施加了不可避免的權衡,從而定義了道德計算的可行空間。在該空間內,不同的倫理理論(如義務論、後果主義、美德倫理學)不再是互斥的真理描述,而是適應不同需求體制的局部高效策略。該框架還提供了道德遺憾和約束下道德進步的形式化概念,並指出人工智能系統的道德對齊應側重於道德推理能力的規模化與分配,而非直接模仿人類判斷。該論文共24頁,包含2張圖,為AI倫理研究提供了新的理論視角,並可能對模型選型、推理成本及AI對齊方法產生深遠影響。在人工智能日益普及的今天,如何讓AI系統做出符合人類道德的決策成為重要課題。傳統方法通常將道德認知建模為對固定倫理理論的遵循,如義務論、後果主義或美德倫理學,並通過靜態規則或價值函數實現。然而,這種建模方式忽略了有限智能體面臨的計算資源限制。現實生活中,人們常需要在有限時間、信息或計算能力下做出道德判斷。受此啓發,Max Kanwal等人提出了有限道德(Bounded Morality)框架,將赫伯特·西蒙的有限理性概念擴展至道德領域。該框架定義了道德廣度和道德深度兩個正交維度。道德廣度指被道德考量所覆蓋的實體範圍,例如是否包括非人類動物或未來世代;道德深度指評估實體間交互所需的推理整合程度,例如簡單的單向影響還是複雜的多步反饋。資源限制使得這兩個維度之間存在不可避免的權衡:要覆蓋更廣的範圍,往往需要犧牲推理的深度,反之亦然。這一權衡界定了道德計算的可行空間。在此空間內,不同的倫理理論被重新解釋為適應不同需求體制的局部高效策略,而非競爭性的道德真理。例如,在時間緊迫的情況下,義務論規則可能更高效;而在有足夠資源時,後果主義的全局評估可能更優。框架還形式化了道德遺憾(即由於資源限制而無法實現最優道德決策)和約束下的道德進步(即通過擴大資源或改進策略來減少遺憾)。這一觀點對AI對齊具有重要意義:它暗示我們應該致力於擴展和合理分配AI系統的道德推理能力,而不是試圖完美模仿人類判斷。該論文提交至AAAI-26機器學習倫理學研討會,共24頁,包含2幅示意圖。它為AI倫理研究提供了一個全新的理論工具,可能對模型設計、推理成本評估以及AI對齊基準的制定產生深遠影響。
有限道德:定義道德計算的空間
文章摘要
一篇新論文提出了有限道德(Bounded Morality)框架,將有限理性擴展到道德認知領域,將倫理理論建模為在道德廣度和深度之間權衡的局部高效策略。
有限道德:定義道德計算的空間