大型语言模型(LLM)在推理时通常遵循固定的深度与顺序,对所有层执行一次非循环的前向计算。然而,一篇被 ICML 2026 接收的论文《Skip a Layer or Loop It? Learning Program-of-Layers in LLMs》揭示了一种无需训练即可实现的灵活动态机制,作者称之为“程序化层执行”(program-of-layers,简称 PoLar)。该论文由 Ziyue Li 等三位作者完成,于 2026 年 6 月 4 日提交至 arXiv(编号 2606.06574,属机器学习 cs.LG 类别),并显著扩展了此前 arXiv:2507.07996 的工作,代码链接已在论文中给出。
研究者发现,预训练模型的层可以被当作模块打包,然后针对每个输入动态地跳过(skip)或循环(loop),从而组成一个定制化的执行程序。也就是说,推理并不必然要求完整走完所有层。实验观察显示,对于大多数输入,大幅缩短的程序执行即可达到与原模型相同甚至更好的准确率;而对于原始 LLM 给出的错误预测,往往可以通过层数更少的替代程序予以纠正。这些现象表明,推理过程存在多种有效的潜在计算路径,标准前向传播只是其中之一。
为了在实践中高效地实现 PoLar,作者提出了一个轻量级的 PoLar 预测网络。该网络学习为每个输入生成执行程序,动态决定跳过或重复哪些预训练层。与需要人工设计或依赖固定规则的动态深度方法不同,这一预测网络以数据驱动的方式输出逐样本的层执行方案。
在数学推理基准上的实验表明,PoLar 相比标准推理以及此前的动态深度方法能够持续提升准确率,而且往往只需执行更少的层。这种收益在分布外(out-of-distribution)评测下依然保持,说明该方法并非仅对训练分布内的样本有效。
论文的结论指出,固定深度执行只捕捉到了 LLM 潜在推理能力的一小部分。该工作暗示,模型内部的层并非必须按固定顺序全部参与计算,通过重新编排层的执行程序,可以在不重新训练模型权重的前提下释放更多推理潜力,同时可能降低推理成本。论文同时给出了提交历史:v1 版本于 2026 年 6 月 4 日 17:59:58 UTC 提交,全文约 574 KB,并提供 PDF、实验性 HTML 与 TeX 源码等多种获取方式。