AI News HubLIVE
站內改寫2 分鐘閱讀

通過改變系統設計而非模型來讓AI停止幻覺

AI幻覺源於系統無法被反駁。BlazePhoenix協議提出不變性驅動設計:每個斷言附帶可驗證的證偽命令,系統在無法證明時拒絕而非猜測。這種工程模式可應用於任何系統,使AI能基於可檢查的事實而非推測來回答。

來源Hacker News AI作者: mitraxyz

AI模型產生幻覺並非因為它粗心,而是因為在回答的那一刻,沒有任何東西能反駁它。BlazePhoenix協議提出的不變性驅動設計(Invariant-Driven Design)旨在通過改變系統結構而非模型本身來解決這一問題。

核心思想是讓每個斷言都攜帶自己的證偽命令。例如,一個報價不是服務器挑選的數字,而是公共合約上previewPlan函數的輸出,任何人都可以重新運行該函數來驗證。質押引擎不發佈償付能力報告,而是公開isSolvent()函數,任何人都可以隨時讀取合約存儲來檢查。這使得聲明及其測試成為同一對象,模型在引用數據時可以同時提供驗證方法,讀者無需信任任何一方。

Fail-Closed原則是這一模式的最嚴格體現:當系統無法證明某事時,它拒絕而非估計。例如,在報價時,系統不會信任池子報告的數字,而是直接從池子合約中讀取實際餘額,當無法確定真實餘額時,該池子會被完全排除在路由之外。這恰恰是幻覺的本質——系統用貌似合理的答案填補信息空白,而Fail-Closed使得這種空白無法被表示。

不變性(Invariants)是比檢查更強大的機制。檢查是隻有在你記得調用時才會運行的代碼行,而不變性是系統無法違反的屬性。例如,質押引擎的保護機制使得破產狀態不可達:任何導致破產的交易都會被回滾,因此屬性在每個可觀察的時刻都成立。對於AI來説,一個不變性比一百頁文檔更有價值,因為它將關於行為的問題轉化為關於狀態的問題。

另一個重要原則是:當存在權威來源時,直接調用它而不是重新實現。例如,協議的路由器涵蓋多種自動做市商,對於Curve和Solidly等,它直接調用它們自己的函數,因為相同的字節碼既執行交易又生成報價。重新實現是第二個真相來源,而第二個真相來源意味着分歧。

這種設計為AI提供了三樣東西:可檢查的表面(每個數字都附有可重現的調用)、誠實的否定(系統拒絕而非估計,因此“無路由”和“數據不足”是真實的答案)、以及穩定的基本事實(不變性不會隨文檔更新而漂移)。這些都不需要模型變得更智能,而是通過消除猜測的真空來實現。

值得注意的是,這一模式並不依賴於區塊鏈。任何組件都可以通過三個問題來評估:如果這個聲明是錯的,如何發現?當無法確立某事時,系統是拒絕還是填充?該屬性是檢查的還是不可能被違反的?將盡可能多的屬性從第一類轉移到第二類,用户和AI就少了一份信任的需求。

結論是:讓AI停止幻覺主要不是AI問題,而是工程問題。一個無法被檢查的系統只能通過猜測來描述,因為猜測是唯一剩下的選項。構建可被檢查的系統,猜測就會停止——不是因為模型變了,而是因為真空消失了。