跳到主要內容
AI News HubLIVE
更多
站內改寫1 分鐘閱讀

映象視界:可行路徑熵作為有界反射的度量

文章摘要

映象理論提出透過可行路徑熵(VPE)度量智慧系統在反覆反射下維持連貫延續的能力。實驗表明,增加token預算可擴充套件驗證可達性,且模型能力並非僅取決於引數數量。

來源arXiv Machine Learning作者: Tiantian Zhang (Crystal)
映象視界:可行路徑熵作為有界反射的度量
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

映象理論認為,智慧系統的能力不僅體現在其表徵的內容,更在於它在反覆自我反思中能夠維持的連貫延續。為此,研究者提出了可行路徑熵(VPE),這是一種在有限預算下衡量驗證延續能力的指標。給定一個映象狀態、rollout協議、驗證器和模式對映,VPE將有限能力分解為兩部分:達到可行延續的機率,以及成功rollout中達到的已驗證延續模式的多樣性。本文恢復了該度量背後的完整理論框架:直覺作為區域性不確定約束,品味作為不變性選擇壓力,反思作為品味引導的不確定性解決,以及幾何作為使未來反思穩定的學習結構。

在實驗部分,研究者將理論應用於GSM8K資料集上的語言模型推理任務。使用Qwen2.5-Instruct系列模型,每個問題取樣32次rollout,並設定兩種反思視界。當token預算從96增加到160時,驗證可達性顯著擴充套件,零可達性降低,驗證模式熵增加,平滑VPE提升。有趣的是,在160 token預算下,Qwen2.5-1.5B實現了測試模型中最強的映象視界,儘管Qwen2.5-3B引數更多。這表明映象視界並非引數數量,而是在有界反射協議下可達的驗證延續能力。結果支援映象理論作為度量層面的解釋:能力是可達可行延續的結構,而非單次準確率或pass@k。

展開要點與分析

文章情報

工程師進階

要點

  • 可行路徑熵(VPE)衡量有限預算下的驗證延續能力
  • VPE分解為可達機率和驗證模式多樣性
  • 在GSM8K上對Qwen2.5模型實驗,增加token預算顯著提升VPE
  • 小模型Qwen2.5-1.5B在160 token下表現優於更大模型

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。