AI News HubLIVE
站内改写2 分钟阅读

通过改变系统设计而非模型来让AI停止幻觉

AI幻觉源于系统无法被反驳。BlazePhoenix协议提出不变性驱动设计:每个断言附带可验证的证伪命令,系统在无法证明时拒绝而非猜测。这种工程模式可应用于任何系统,使AI能基于可检查的事实而非推测来回答。

来源Hacker News AI作者: mitraxyz

AI模型产生幻觉并非因为它粗心,而是因为在回答的那一刻,没有任何东西能反驳它。BlazePhoenix协议提出的不变性驱动设计(Invariant-Driven Design)旨在通过改变系统结构而非模型本身来解决这一问题。

核心思想是让每个断言都携带自己的证伪命令。例如,一个报价不是服务器挑选的数字,而是公共合约上previewPlan函数的输出,任何人都可以重新运行该函数来验证。质押引擎不发布偿付能力报告,而是公开isSolvent()函数,任何人都可以随时读取合约存储来检查。这使得声明及其测试成为同一对象,模型在引用数据时可以同时提供验证方法,读者无需信任任何一方。

Fail-Closed原则是这一模式的最严格体现:当系统无法证明某事时,它拒绝而非估计。例如,在报价时,系统不会信任池子报告的数字,而是直接从池子合约中读取实际余额,当无法确定真实余额时,该池子会被完全排除在路由之外。这恰恰是幻觉的本质——系统用貌似合理的答案填补信息空白,而Fail-Closed使得这种空白无法被表示。

不变性(Invariants)是比检查更强大的机制。检查是只有在你记得调用时才会运行的代码行,而不变性是系统无法违反的属性。例如,质押引擎的保护机制使得破产状态不可达:任何导致破产的交易都会被回滚,因此属性在每个可观察的时刻都成立。对于AI来说,一个不变性比一百页文档更有价值,因为它将关于行为的问题转化为关于状态的问题。

另一个重要原则是:当存在权威来源时,直接调用它而不是重新实现。例如,协议的路由器涵盖多种自动做市商,对于Curve和Solidly等,它直接调用它们自己的函数,因为相同的字节码既执行交易又生成报价。重新实现是第二个真相来源,而第二个真相来源意味着分歧。

这种设计为AI提供了三样东西:可检查的表面(每个数字都附有可重现的调用)、诚实的否定(系统拒绝而非估计,因此“无路由”和“数据不足”是真实的答案)、以及稳定的基本事实(不变性不会随文档更新而漂移)。这些都不需要模型变得更智能,而是通过消除猜测的真空来实现。

值得注意的是,这一模式并不依赖于区块链。任何组件都可以通过三个问题来评估:如果这个声明是错的,如何发现?当无法确立某事时,系统是拒绝还是填充?该属性是检查的还是不可能被违反的?将尽可能多的属性从第一类转移到第二类,用户和AI就少了一份信任的需求。

结论是:让AI停止幻觉主要不是AI问题,而是工程问题。一个无法被检查的系统只能通过猜测来描述,因为猜测是唯一剩下的选项。构建可被检查的系统,猜测就会停止——不是因为模型变了,而是因为真空消失了。