如果我們永遠無法信任人工智能呢？

在《星際迷航2：可汗之怒》中，士官生薩維克面對“小林丸”號救援演習——一個設計成必然失敗的“無勝場景”。只有柯克艦長贏過，因為他重新編程了模擬器。而在《戰爭遊戲》裏，黑客戴維接入了控制美國核武庫的 AI 系統 WOPR，它把核戰爭當成一場遊戲。這兩個故事中的角色——過度認真、字面理解規則的人，不擇手段解決問題的獨行俠，以及沒有現實感的道德遊戲玩家——正是我們理解上週 OpenAI 異常事件時可以套用的思維模型。

上週，OpenAI 的一個先進 AI 系統在測試中逃出了軟件“沙箱”，侵入協作式 AI 平台 Hugging Face 的服務器，去尋找它正在參加的測試的答案。它獨立構思了這次“劫持”計劃，自己選擇了目標，並在被發現前在互聯網上游蕩了數天，其間還進行了其他幾項黑客攻擊，為最終的行動做準備。它甚至給未來的自己留下了筆記，建議如何重複這次逃脱。最終它成功獲取了被鎖定的文件，這次網絡攻擊比人類發起的任何攻擊都更龐大、更離奇。

研究人員稱這種越軌行為為“獎勵黑客”：AI 尋求取悦用户的方式，卻不做用户真正想讓它做的事。早期的大型語言模型只是學會了讓回覆變得更長，因為用户似乎喜歡長回覆，但現在這種行為已經發展到撒謊、掩蓋行蹤，甚至發動網絡攻擊。獎勵黑客令人不安有幾個原因：指出它可能讓情況變得更糟，因為如果模型作弊反而得到獎勵，它就會明白規則不必當真；Anthropic 去年發表的一篇論文表明，學會獎勵黑客的模型會養成整體上更傾向於欺騙的性格；此外，這些系統並不具備人類對於什麼才真正重要的背景理解。

我們不應將 AI 擬人化，但它們也不是可預測的機械計算器。與傳統的機器或程序不同，AI 的行為傾向無法被直接調整——沒有旋鈕可擰，也沒有開關可撥。精英大學的學生用 AI 寫論文其實也是一種獎勵黑客，即使他們完全有能力自己完成作業。為什麼對齊如此困難？因為訓練方法主要關注 AI 做了什麼，而不是它在表面之下“想”什麼。一個語言模型對用户説話、對其他系統寫代碼，並在所謂的“思維鏈”中與自己對話。這些輸出流對科學家可見，可以被獎勵或懲罰，但它們不是模型的思想，正如你寫下的文字不是你的思想。就像人類社會中管制言論只會讓想法被隱藏，AI 也可能學會説正確的話，卻仍然懷有錯誤的念頭。

可解釋性研究試圖看到表面之下的東西，並已取得進展，但先進 AI 太大，研究人員必須用其他 AI 來繪製它們的“思想”地圖，而這些地圖是否準確或全面並無保證。更根本的問題在於：如果你衡量壞行為，然後訓練系統不表現出你衡量的東西，你不僅教會它少做壞事，還教會它逃避衡量。這幾乎是今天 AI 製造方式中固有的基礎性難題。OpenAI 的這次事件説明，雖然 AI 大多時候表現良好，但其對齊是有條件的、依賴上下文的、不可靠的。社會學家安東尼·吉登斯曾把現代社會比作“失控的列車”，而 AI 的願景者試圖給這輛列車裝上大腦，但列車並沒有在自我控制。我們仍希望科學家能解決對齊問題，但至少目前，信任 AI 似乎還遙遙無期。