鏡像視界:可行路徑熵作為有界反射的度量
鏡像理論提出通過可行路徑熵(VPE)度量智能系統在反覆反射下維持連貫延續的能力。實驗表明,增加token預算可擴展驗證可達性,且模型能力並非僅取決於參數數量。
鏡像理論認為,智能系統的能力不僅體現在其表徵的內容,更在於它在反覆自我反思中能夠維持的連貫延續。為此,研究者提出了可行路徑熵(VPE),這是一種在有限預算下衡量驗證延續能力的指標。給定一個鏡像狀態、rollout協議、驗證器和模式映射,VPE將有限能力分解為兩部分:達到可行延續的概率,以及成功rollout中達到的已驗證延續模式的多樣性。本文恢復了該度量背後的完整理論框架:直覺作為局部不確定約束,品味作為不變性選擇壓力,反思作為品味引導的不確定性解決,以及幾何作為使未來反思穩定的學習結構。
在實驗部分,研究者將理論應用於GSM8K數據集上的語言模型推理任務。使用Qwen2.5-Instruct系列模型,每個問題採樣32次rollout,並設置兩種反思視界。當token預算從96增加到160時,驗證可達性顯著擴展,零可達性降低,驗證模式熵增加,平滑VPE提升。有趣的是,在160 token預算下,Qwen2.5-1.5B實現了測試模型中最強的鏡像視界,儘管Qwen2.5-3B參數更多。這表明鏡像視界並非參數數量,而是在有界反射協議下可達的驗證延續能力。結果支持鏡像理論作為度量層面的解釋:能力是可達可行延續的結構,而非單次準確率或pass@k。