跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

跳过一层还是循环一层?让LLM学习层程序

文章摘要

该论文提出program-of-layers(PoLar)概念:预训练LLM的层可被当作模块,针对每个输入动态跳过或循环,从而用更少层数取得同等或更高准确率,甚至纠正原模型的错误预测。作者训练轻量预测网络自动生成执行程序,在数学推理基准上稳定优于标准推理和已有动态深度方法,并在分布外评估中保持增益。

来源arXiv Machine Learning作者: Ziyue Li, Yang Li, Tianyi Zhou
跳过一层还是循环一层?让LLM学习层程序
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)在推理时通常遵循固定的深度与顺序,对所有层执行一次非循环的前向计算。然而,一篇被 ICML 2026 接收的论文《Skip a Layer or Loop It? Learning Program-of-Layers in LLMs》揭示了一种无需训练即可实现的灵活动态机制,作者称之为“程序化层执行”(program-of-layers,简称 PoLar)。该论文由 Ziyue Li 等三位作者完成,于 2026 年 6 月 4 日提交至 arXiv(编号 2606.06574,属机器学习 cs.LG 类别),并显著扩展了此前 arXiv:2507.07996 的工作,代码链接已在论文中给出。

研究者发现,预训练模型的层可以被当作模块打包,然后针对每个输入动态地跳过(skip)或循环(loop),从而组成一个定制化的执行程序。也就是说,推理并不必然要求完整走完所有层。实验观察显示,对于大多数输入,大幅缩短的程序执行即可达到与原模型相同甚至更好的准确率;而对于原始 LLM 给出的错误预测,往往可以通过层数更少的替代程序予以纠正。这些现象表明,推理过程存在多种有效的潜在计算路径,标准前向传播只是其中之一。

为了在实践中高效地实现 PoLar,作者提出了一个轻量级的 PoLar 预测网络。该网络学习为每个输入生成执行程序,动态决定跳过或重复哪些预训练层。与需要人工设计或依赖固定规则的动态深度方法不同,这一预测网络以数据驱动的方式输出逐样本的层执行方案。

在数学推理基准上的实验表明,PoLar 相比标准推理以及此前的动态深度方法能够持续提升准确率,而且往往只需执行更少的层。这种收益在分布外(out-of-distribution)评测下依然保持,说明该方法并非仅对训练分布内的样本有效。

论文的结论指出,固定深度执行只捕捉到了 LLM 潜在推理能力的一小部分。该工作暗示,模型内部的层并非必须按固定顺序全部参与计算,通过重新编排层的执行程序,可以在不重新训练模型权重的前提下释放更多推理潜力,同时可能降低推理成本。论文同时给出了提交历史:v1 版本于 2026 年 6 月 4 日 17:59:58 UTC 提交,全文约 574 KB,并提供 PDF、实验性 HTML 与 TeX 源码等多种获取方式。

展开要点与分析

文章情报

投资人进阶

要点

  • 作者发现无需训练即可灵活重排LLM层,多数输入用更短程序即可达到同等或更好效果,且可纠正原模型错误。
  • 提出轻量PoLar预测网络,为每个输入动态生成跳过或重复预训练层的执行程序。
  • 在数学推理基准上准确率持续提升,且常执行更少层;分布外评估仍保持增益。
  • 结果表明固定深度前向传播只利用了LLM潜在推理能力的一小部分。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。