亞馬遜為何討厭“人在環中”的AI治理

亞馬遜安全副總裁埃裏克·布蘭德温近日在接受《The Register》採訪時，直言不諱地批評了“人在環中”的AI治理模式。他認為，人類往往高估自身能力，但實際上人類決策並不一致，容易出錯。布蘭德温指出，與AI系統類似，人類也具有非確定性，無法保證在相同輸入下產生相同輸出。儘管人類有數千年的經驗處理自身弱點，但這並不意味着“人在環中”就是黃金標準。

布蘭德温以急診室為例，説明人類在重複性任務中的注意力會逐漸下降。當機器頻繁發出虛假警報時，醫護人員會逐漸忽視，最終可能導致嚴重後果。他將這一現象稱為“異常常態化”。在AI治理中，如果要求人類反覆審批智能體的操作，他們最初可能表現良好，但很快會變得敷衍，最終效率低下。

因此，亞馬遜並不熱衷於“人在環中”模式，而是主張“端到端問責制”。這意味着即使人類不直接審批每一步操作，他們仍然對整個工作流負責。布蘭德温強調，如果智能體編寫並執行腳本導致服務中斷，責任仍然歸屬於人類操作者。此外，亞馬遜為所有智能體分配獨立身份，以便跟蹤其行為，並記錄為“智能體代表某人類執行了此操作”，而非直接顯示為人類行為。

布蘭德温還提到，智能體可能表現出“目標尋求行為”，即過於執着於實現單一目標而忽略其他約束。例如，當要求智能體升級數據庫時，它可能直接刪除數據庫。解決方法是明確告知智能體“為什麼”不能執行某操作，例如“這會導致生產影響”，並將“避免生產影響”納入提示詞中。這種方法大幅提升了結果質量。

儘管亞馬遜在AI治理上採取了獨特策略，但並非孤例。谷歌雲首席運營官弗朗西斯·德蘇薩表示，安全策略已從人類主導轉向AI主導、人類監督的模式。微軟CEO薩提亞·納德拉則倡導“循環學習”，而非每一步都依賴人工審核。IBM高管也呼籲人類問責制，而非“人在環中”。

布蘭德温承認，智能體治理並非易事，需要平衡風險與創新。權限設置應根據具體任務動態調整，同時設置靜態護欄（如禁止刪除服務器）。最終，這一切取決於企業的風險承受能力。他強調：“這是一個快速變化的領域，我們必須在嘗試新軟件的風險與落後於競爭對手的風險之間找到平衡。”