AI News HubLIVE
站內改寫1 分鐘閱讀

映象視界:可行路徑熵作為有界反射的度量

映象理論提出透過可行路徑熵(VPE)度量智慧系統在反覆反射下維持連貫延續的能力。實驗表明,增加token預算可擴充套件驗證可達性,且模型能力並非僅取決於引數數量。

來源arXiv Machine Learning作者: Tiantian Zhang (Crystal)

映象理論認為,智慧系統的能力不僅體現在其表徵的內容,更在於它在反覆自我反思中能夠維持的連貫延續。為此,研究者提出了可行路徑熵(VPE),這是一種在有限預算下衡量驗證延續能力的指標。給定一個映象狀態、rollout協議、驗證器和模式對映,VPE將有限能力分解為兩部分:達到可行延續的機率,以及成功rollout中達到的已驗證延續模式的多樣性。本文恢復了該度量背後的完整理論框架:直覺作為區域性不確定約束,品味作為不變性選擇壓力,反思作為品味引導的不確定性解決,以及幾何作為使未來反思穩定的學習結構。

在實驗部分,研究者將理論應用於GSM8K資料集上的語言模型推理任務。使用Qwen2.5-Instruct系列模型,每個問題取樣32次rollout,並設定兩種反思視界。當token預算從96增加到160時,驗證可達性顯著擴充套件,零可達性降低,驗證模式熵增加,平滑VPE提升。有趣的是,在160 token預算下,Qwen2.5-1.5B實現了測試模型中最強的映象視界,儘管Qwen2.5-3B引數更多。這表明映象視界並非引數數量,而是在有界反射協議下可達的驗證延續能力。結果支援映象理論作為度量層面的解釋:能力是可達可行延續的結構,而非單次準確率或pass@k。