确定性地平线：将不可能性结果作为可信AI系统的设计规范
该论文将图灵、阿罗和无免费午餐等基本极限转化为设计规则，提出了确定性地平线这一概念：由架构决定的精度上限，在关键推理深度后无法通过训练提升。研究测量了12种Transformer架构的地平线值（19-31），并通过信息论证明了超过该界限后精度呈超指数衰减。此外，论文还涵盖了偏好学习、多阶段检索、真实拍卖和零知识验证等领域，构建了16个规范，每个规范包含可计算边界、量化违规成本和建设性设计规则。
文章情报
要点
- 确定性地平线是由层数和嵌入宽度计算的精度上限，超出后训练无效。
- 在12种Transformer架构中，地平线测量值在19到31之间，微调最多恢复4个百分点。
- 论文将16个基本极限转化为可计算的设计规范，用于构建可信AI系统。
为什么重要
这条新闻值得关注，因为确定性地平线是由层数和嵌入宽度计算的精度上限，超出后训练无效。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
一篇来自香港大学计算机科学系的博士论文提出了一种颠覆性的方法，将AI领域广为人知的基本极限——从图灵停机问题、阿罗不可能定理到无免费午餐定理——从理论上的趣闻转变为实际可用的设计规则。该论文的核心成果是“确定性地平线”这一概念：一个完全由模型架构本身决定的精度上限。研究严格证明，一旦推理深度超过某个临界值，无论投入多少训练数据、使用何种适配器秩、调整样本大小或损失函数，模型的精度都无法再突破这一界限。更重要的是，这个界限可以在模型部署之前，仅根据层数和嵌入宽度计算得出。
为了验证这一理论，研究人员在12种不同的Transformer架构上进行了测量，发现确定性地平线的值在19到31之间波动。即使在最优长度轨迹上进行微调，精度最多也只能提升不到4个百分点。这一现象的深层机制在于残差流的容量不变性，并且通过信息论转换，论文进一步证明，一旦超过地平线，精度将呈超指数衰减。此外，论文还针对常规模素数域电路上的模幂运算，给出了一个无条件的电路复杂度下界，作为补充结果。
同样的论证框架被成功推广到了多个AI子领域：在偏好学习中，任何模型设定错误都会导致样本复杂度出现不连续跳跃；多阶段检索流水线要求必须拥有至少与阶段数量相同的独立评估指标；标准诚实拍卖在面对具有提示依赖估值的智能体时完全失效；而神经推理的零知识验证则需要为每个非线性激活支付110到190倍的度量开销。这些发现共同构成了一个包含16项规范的目录，每项规范都配有一个可计算边界、一个量化违规成本以及一个建设性的设计规则。其中，有两个组合已经得到证明，一个配对被识别为诚实障碍，另有四个组合仍有待解决。
该论文将“不可能性-规范”方法论作为一个生成式研究项目提出，旨在为可信AI系统的开发提供理论基础和实用工具。正如论文所总结的，AI的每一个基本极限，同时也是一个设计规则。