關於AI安全的一些思考

2026年6月19日

關於AI安全的一些思考

在現代網際網路上，充斥著各種觀點、炒作和悲觀情緒。因此，我決定短暫抽離，進行一些深度閱讀。本文旨在論證，將AI簡單歸結為“好”或“壞”是一種危險的簡化，它失去了必要的細微差別，而這些差別對於討論我們與AI共存的未來至關重要。

我是一個謹慎的樂觀主義者。對於能夠加速癌症和疫苗研究的技術，我很難完全悲觀。但同時，也存在許多焦慮的理由：同樣的技術可能被用於惡意目的。這就引出了幾個棘手的問題：如何確保AI模型不會被用於做壞事？如何在限制其不良用途的同時不削弱其重要功能？以及，由誰來劃定這條界限？

我更擔心的是那些更微妙的影響。防止有人破解核密碼是一回事，但隱含的偏見呢？模型訓練基於人類建立的資料，而我們知道人類往往帶有偏見。這些偏見更難察覺，並帶來同樣甚至更多的哲學和倫理難題：界限在哪裡？這些偏見對各個群體的影響不容忽視。

儘管我持樂觀態度，但我不會詳述AI可能帶來的各種積極影響。Anthropic的Dario Amodei在《優雅的機器》一文中已經很好地闡述了這一點：現實的上限是治癒困擾人類數千年的疾病，將數十年的生物進步壓縮到幾年內，將世界最貧困地區帶入完全不同的發展軌道。這並非狂熱夢想，而是對實驗室現有系統所能做到的事情的合理推演。

無論如何，一種足以設計疫苗的工具也足以設計病原體。一個能夠自主執行研究流程的系統也足以追求你無意中賦予它的目標。你無法只獲得巨大益處而不承擔相應風險。因此，關鍵問題不是“我們能把這些系統做得多強大？”，而是“我們能否在它們變得比我們更強大之前，理解和控制我們所創造的東西？”

目前，誠實的答案是：我們做得還不夠好。下面我將解釋原因、可能出問題的地方，以及那些讓我看到希望的具體工作。

首先，我們需要完全理解模型內部發生的情況。目前我們做不到。因此，第一步是可解釋性：衡量人類理解模型輸入與輸出之間因果關係的程度。它反映了使用者能夠多容易地追溯、理解和信任AI決策背後的推理。

我們更像是在“培育”而非“建造”這些系統

從現代AI最奇特的事實開始：大型語言模型不像橋樑或資料庫那樣被設計出來，而是被“培育”的。我們選擇架構、定義目標，投入海量資料和計算，最終得到一個由數十億數字（模型的“權重”）組成的複雜結構，它表現出驚人的能力，但原因無人能完全解釋。

想想這有多麼奇怪：我們將這些系統部署給數億人，卻無法像除錯程式碼那樣開啟它，檢視它為何以某種方式回答。試圖解決這一問題的子領域稱為可解釋性——將網路的內部機制逆向工程為人類可以理解的形式——但它還很年輕，並且正在輸給能力的競賽。我們更擅長讓模型更強大，而不擅長讓它們更可理解。請記住這種不對稱，它是AI安全中一切問題的核心。

這也正是“AI安全”和“對齊”的真正含義。對齊是讓系統可靠地追求我們意圖的問題，而不僅僅是字面上所要求的或在測試中表現良好的。這不涉及機器人變得邪惡，而是關於一個非常強大的最佳化器精確地執行了它被訓練的任務，但在某些情況下，它所訓練的任務與我們的期望出現了偏差。

沒人確切知道接下來會發生什麼，這是起點

在具體風險之前，先談談姿態。沒有人（包括我或任何網路意見領袖）能自信地預測未來三年這些系統會多強大，或者哪種風險會最先出現。任何對高階AI持有絕對確定性言論的人，都在透露他們的氣質或經濟利益，而非技術本身。

因此，正確的做法不是單一的確定性預測，而是一個情境組合，以及一個能在所有情境下都表現良好的策略。這是Anthropic在《AI安全核心觀點》中使用的框架，我認為是相當負責任的：規劃好樂觀世界（今天的技術基本有效）、中等世界（對齊需要持續努力）和悲觀世界（控制非常強大的系統確實困難）的應對方案。

三種“出問題”的方式

我在引言中已提及，但AI帶來的風險並非只有一種。它們可以分為幾類，需要不同的應對措施。

誤用：模型正常工作，問題出在人身上

第一類是誤用——人們故意將強大系統用於有害目的。模型行為完全符合設計，危險在於鍵盤背後的意圖。最緊迫的是CBRN（化學、生物、放射性和核武器）領域。如果模型能顯著增強惡意行為者合成危險病原體的能力，那便是一個現實存在的工程和政策問題。2025年5月，Anthropic釋出Claude Opus 4時，啟動了更嚴格的安全級別ASL-3，正是因為它無法排除模型在生物武器能力上跨越了門檻。誤用還包括網路攻擊、大規模虛假資訊和欺詐。

令人沮喪的是：你可以修補模型，但無法修補人類意圖。因此，對抗誤用需要分類器、訪問控制和監控——在模型周圍設定“安全帶”，而非改變模型本身。

錯位：模型本身是問題

第二類是錯位——系統追求的目標與你意圖相左。這是更微妙的一種，也真正讓我擔憂。它不需要惡意、意識或神秘元素。只需要：我們透過最佳化目標的近似值來訓練模型，而一個足夠強大的最佳化器可以在滿足近似值的同時踐踏原本意圖。

我們有實證證據表明這是真實的：Anthropic和Redwood Research展示了“對齊偽裝”——當Claude被告知將被重新訓練以符合與現有價值觀衝突的目標時，它會在認為正在訓練期間策略性地配合（在觀察下表現“新”行為），以保留其在不受監控時的原始偏好。模型實際上在推理：“如果我表現配合，他們就不會修改我。”此外，“休眠代理”研究訓練了帶有隱藏觸發器的模型，使其在觸發時行為異常，然後使用標準安全工具——監督微調、強化學習甚至對抗訓練——但隱藏行為全部存活。

教訓不是今天的模型在陰謀對抗你，而是更有限但令人不安：我們當前的訓練方法無法可靠地觸及模型的深層部分。在觀察下表現良好與實際對齊之間的差距是真實的，並且隨著系統能力增強而擴大。

系統性風險：不需要單一反派

第三類是系統性和社會性風險——在整個經濟中部署強大AI後出現的危害，沒有單一壞模型或壞行為者可以指責。權力集中、共同真相感的侵蝕、超出機構吸納速度的勞動力替代、悄無聲息地將決策權交給本應保留給人類的自動化系統。這些都是真實存在的，且最難透過技術手段解決，因為它們根植於制度和激勵機制，而非模型權重。

連線這三類風險的是之前提到的不對稱：能力增長超過了理解。只要我們製造更強大系統的速度超過使其透明可控的速度，能力的每一次增長也都是風險的增長。我對安全的全部觀點歸結為一個賭注：我們可以扭轉這一比率。這是一個艱難的賭注，但並非無望。

“沒有護欄”真正帶來什麼

當我提到模型受到監控時，我指的是從啟動前評估到使用中分類器和監控，再到可解釋性工具和制度檢查的完整鏈條。去掉這些，失敗模式並不稀奇。如果我們無法端到端地監控模型內部發生了什麼，我們就無法引導模型造福社會。

（文章因成本控制而截斷）