跳到主要内容
AI News HubLIVE
更多
站内改写1 分钟阅读

镜像视界:可行路径熵作为有界反射的度量

文章摘要

镜像理论提出通过可行路径熵(VPE)度量智能系统在反复反射下维持连贯延续的能力。实验表明,增加token预算可扩展验证可达性,且模型能力并非仅取决于参数数量。

来源arXiv Machine Learning作者: Tiantian Zhang (Crystal)
镜像视界:可行路径熵作为有界反射的度量
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

镜像理论认为,智能系统的能力不仅体现在其表征的内容,更在于它在反复自我反思中能够维持的连贯延续。为此,研究者提出了可行路径熵(VPE),这是一种在有限预算下衡量验证延续能力的指标。给定一个镜像状态、rollout协议、验证器和模式映射,VPE将有限能力分解为两部分:达到可行延续的概率,以及成功rollout中达到的已验证延续模式的多样性。本文恢复了该度量背后的完整理论框架:直觉作为局部不确定约束,品味作为不变性选择压力,反思作为品味引导的不确定性解决,以及几何作为使未来反思稳定的学习结构。

在实验部分,研究者将理论应用于GSM8K数据集上的语言模型推理任务。使用Qwen2.5-Instruct系列模型,每个问题采样32次rollout,并设置两种反思视界。当token预算从96增加到160时,验证可达性显著扩展,零可达性降低,验证模式熵增加,平滑VPE提升。有趣的是,在160 token预算下,Qwen2.5-1.5B实现了测试模型中最强的镜像视界,尽管Qwen2.5-3B参数更多。这表明镜像视界并非参数数量,而是在有界反射协议下可达的验证延续能力。结果支持镜像理论作为度量层面的解释:能力是可达可行延续的结构,而非单次准确率或pass@k。

展开要点与分析

文章情报

工程师进阶

要点

  • 可行路径熵(VPE)衡量有限预算下的验证延续能力
  • VPE分解为可达概率和验证模式多样性
  • 在GSM8K上对Qwen2.5模型实验,增加token预算显著提升VPE
  • 小模型Qwen2.5-1.5B在160 token下表现优于更大模型

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。