AI News HubLIVE
站內改寫2 分鐘閱讀

透過改變系統設計而非模型來讓AI停止幻覺

AI幻覺源於系統無法被反駁。BlazePhoenix協議提出不變性驅動設計:每個斷言附帶可驗證的證偽命令,系統在無法證明時拒絕而非猜測。這種工程模式可應用於任何系統,使AI能基於可檢查的事實而非推測來回答。

來源Hacker News AI作者: mitraxyz

AI模型產生幻覺並非因為它粗心,而是因為在回答的那一刻,沒有任何東西能反駁它。BlazePhoenix協議提出的不變性驅動設計(Invariant-Driven Design)旨在透過改變系統結構而非模型本身來解決這一問題。

核心思想是讓每個斷言都攜帶自己的證偽命令。例如,一個報價不是伺服器挑選的數字,而是公共合約上previewPlan函式的輸出,任何人都可以重新執行該函式來驗證。質押引擎不釋出償付能力報告,而是公開isSolvent()函式,任何人都可以隨時讀取合約儲存來檢查。這使得宣告及其測試成為同一物件,模型在引用資料時可以同時提供驗證方法,讀者無需信任任何一方。

Fail-Closed原則是這一模式的最嚴格體現:當系統無法證明某事時,它拒絕而非估計。例如,在報價時,系統不會信任池子報告的數字,而是直接從池子合約中讀取實際餘額,當無法確定真實餘額時,該池子會被完全排除在路由之外。這恰恰是幻覺的本質——系統用貌似合理的答案填補資訊空白,而Fail-Closed使得這種空白無法被表示。

不變性(Invariants)是比檢查更強大的機制。檢查是隻有在你記得呼叫時才會執行的程式碼行,而不變性是系統無法違反的屬性。例如,質押引擎的保護機制使得破產狀態不可達:任何導致破產的交易都會被回滾,因此屬性在每個可觀察的時刻都成立。對於AI來說,一個不變性比一百頁文件更有價值,因為它將關於行為的問題轉化為關於狀態的問題。

另一個重要原則是:當存在權威來源時,直接呼叫它而不是重新實現。例如,協議的路由器涵蓋多種自動做市商,對於Curve和Solidly等,它直接呼叫它們自己的函式,因為相同的位元組碼既執行交易又生成報價。重新實現是第二個真相來源,而第二個真相來源意味著分歧。

這種設計為AI提供了三樣東西:可檢查的表面(每個數字都附有可重現的呼叫)、誠實的否定(系統拒絕而非估計,因此“無路由”和“資料不足”是真實的答案)、以及穩定的基本事實(不變性不會隨文件更新而漂移)。這些都不需要模型變得更智慧,而是透過消除猜測的真空來實現。

值得注意的是,這一模式並不依賴於區塊鏈。任何元件都可以透過三個問題來評估:如果這個宣告是錯的,如何發現?當無法確立某事時,系統是拒絕還是填充?該屬性是檢查的還是不可能被違反的?將盡可能多的屬性從第一類轉移到第二類,使用者和AI就少了一份信任的需求。

結論是:讓AI停止幻覺主要不是AI問題,而是工程問題。一個無法被檢查的系統只能透過猜測來描述,因為猜測是唯一剩下的選項。構建可被檢查的系統,猜測就會停止——不是因為模型變了,而是因為真空消失了。