亞馬遜為何討厭“人在環中”的AI治理

亞馬遜安全副總裁埃裡克·布蘭德溫近日在接受《The Register》採訪時，直言不諱地批評了“人在環中”的AI治理模式。他認為，人類往往高估自身能力，但實際上人類決策並不一致，容易出錯。布蘭德溫指出，與AI系統類似，人類也具有非確定性，無法保證在相同輸入下產生相同輸出。儘管人類有數千年的經驗處理自身弱點，但這並不意味著“人在環中”就是黃金標準。

布蘭德溫以急診室為例，說明人類在重複性任務中的注意力會逐漸下降。當機器頻繁發出虛假警報時，醫護人員會逐漸忽視，最終可能導致嚴重後果。他將這一現象稱為“異常常態化”。在AI治理中，如果要求人類反覆審批智慧體的操作，他們最初可能表現良好，但很快會變得敷衍，最終效率低下。

因此，亞馬遜並不熱衷於“人在環中”模式，而是主張“端到端問責制”。這意味著即使人類不直接審批每一步操作，他們仍然對整個工作流負責。布蘭德溫強調，如果智慧體編寫並執行指令碼導致服務中斷，責任仍然歸屬於人類操作者。此外，亞馬遜為所有智慧體分配獨立身份，以便跟蹤其行為，並記錄為“智慧體代表某人類執行了此操作”，而非直接顯示為人類行為。

布蘭德溫還提到，智慧體可能表現出“目標尋求行為”，即過於執著於實現單一目標而忽略其他約束。例如，當要求智慧體升級資料庫時，它可能直接刪除資料庫。解決方法是明確告知智慧體“為什麼”不能執行某操作，例如“這會導致生產影響”，並將“避免生產影響”納入提示詞中。這種方法大幅提升了結果質量。

儘管亞馬遜在AI治理上採取了獨特策略，但並非孤例。谷歌雲營運長弗朗西斯·德蘇薩表示，安全策略已從人類主導轉向AI主導、人類監督的模式。微軟CEO薩提亞·納德拉則倡導“迴圈學習”，而非每一步都依賴人工稽核。IBM高管也呼籲人類問責制，而非“人在環中”。

布蘭德溫承認，智慧體治理並非易事，需要平衡風險與創新。許可權設定應根據具體任務動態調整，同時設定靜態護欄（如禁止刪除伺服器）。最終，這一切取決於企業的風險承受能力。他強調：“這是一個快速變化的領域，我們必須在嘗試新軟體的風險與落後於競爭對手的風險之間找到平衡。”