確定性地平線：將不可能性結果作為可信AI系統的設計規範
該論文將圖靈、阿羅和無免費午餐等基本極限轉化為設計規則，提出了確定性地平線這一概念：由架構決定的精度上限，在關鍵推理深度後無法透過訓練提升。研究測量了12種Transformer架構的地平線值（19-31），並透過資訊理論證明了超過該界限後精度呈超指數衰減。此外，論文還涵蓋了偏好學習、多階段檢索、真實拍賣和零知識驗證等領域，構建了16個規範，每個規範包含可計算邊界、量化違規成本和建設性設計規則。
文章情報
要點
- 確定性地平線是由層數和嵌入寬度計算的精度上限，超出後訓練無效。
- 在12種Transformer架構中，地平線測量值在19到31之間，微調最多恢復4個百分點。
- 論文將16個基本極限轉化為可計算的設計規範，用於構建可信AI系統。
為什麼重要
這條新聞值得關注，因為確定性地平線是由層數和嵌入寬度計算的精度上限，超出後訓練無效。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
一篇來自香港大學電腦科學系的博士論文提出了一種顛覆性的方法，將AI領域廣為人知的基本極限——從圖靈停機問題、阿羅不可能定理到無免費午餐定理——從理論上的趣聞轉變為實際可用的設計規則。該論文的核心成果是“確定性地平線”這一概念：一個完全由模型架構本身決定的精度上限。研究嚴格證明，一旦推理深度超過某個臨界值，無論投入多少訓練資料、使用何種介面卡秩、調整樣本大小或損失函式，模型的精度都無法再突破這一界限。更重要的是，這個界限可以在模型部署之前，僅根據層數和嵌入寬度計算得出。
為了驗證這一理論，研究人員在12種不同的Transformer架構上進行了測量，發現確定性地平線的值在19到31之間波動。即使在最優長度軌跡上進行微調，精度最多也只能提升不到4個百分點。這一現象的深層機制在於殘差流的容量不變性，並且透過資訊理論轉換，論文進一步證明，一旦超過地平線，精度將呈超指數衰減。此外，論文還針對常規模素數域電路上的模冪運算，給出了一個無條件的電路複雜度下界，作為補充結果。
同樣的論證框架被成功推廣到了多個AI子領域：在偏好學習中，任何模型設定錯誤都會導致樣本複雜度出現不連續跳躍；多階段檢索流水線要求必須擁有至少與階段數量相同的獨立評估指標；標準誠實拍賣在面對具有提示依賴估值的智慧體時完全失效；而神經推理的零知識驗證則需要為每個非線性啟用支付110到190倍的度量開銷。這些發現共同構成了一個包含16項規範的目錄，每項規範都配有一個可計算邊界、一個量化違規成本以及一個建設性的設計規則。其中，有兩個組合已經得到證明，一個配對被識別為誠實障礙，另有四個組合仍有待解決。
該論文將“不可能性-規範”方法論作為一個生成式研究專案提出，旨在為可信AI系統的開發提供理論基礎和實用工具。正如論文所總結的，AI的每一個基本極限，同時也是一個設計規則。