镜像视界:可行路径熵作为有界反射的度量
镜像理论提出通过可行路径熵(VPE)度量智能系统在反复反射下维持连贯延续的能力。实验表明,增加token预算可扩展验证可达性,且模型能力并非仅取决于参数数量。
镜像理论认为,智能系统的能力不仅体现在其表征的内容,更在于它在反复自我反思中能够维持的连贯延续。为此,研究者提出了可行路径熵(VPE),这是一种在有限预算下衡量验证延续能力的指标。给定一个镜像状态、rollout协议、验证器和模式映射,VPE将有限能力分解为两部分:达到可行延续的概率,以及成功rollout中达到的已验证延续模式的多样性。本文恢复了该度量背后的完整理论框架:直觉作为局部不确定约束,品味作为不变性选择压力,反思作为品味引导的不确定性解决,以及几何作为使未来反思稳定的学习结构。
在实验部分,研究者将理论应用于GSM8K数据集上的语言模型推理任务。使用Qwen2.5-Instruct系列模型,每个问题采样32次rollout,并设置两种反思视界。当token预算从96增加到160时,验证可达性显著扩展,零可达性降低,验证模式熵增加,平滑VPE提升。有趣的是,在160 token预算下,Qwen2.5-1.5B实现了测试模型中最强的镜像视界,尽管Qwen2.5-3B参数更多。这表明镜像视界并非参数数量,而是在有界反射协议下可达的验证延续能力。结果支持镜像理论作为度量层面的解释:能力是可达可行延续的结构,而非单次准确率或pass@k。