由Yifeng Liu和Quanquan Gu提交的论文《Unlocking Feature Learning in Gated Delta Networks at Scale》于2026年6月2日发布在arXiv上（编号arXiv:2606.04048v1），属于机器学习（cs.LG）与人工智能（cs.AI）交叉领域。该研究聚焦于大语言模型训练与扩展中面临的计算资源瓶颈，旨在通过高效架构与有原则的超参数调优方法降低训练成本。
近年来，Maximal Update Parametrization（μP）为标准Transformer提供了零样本超参数迁移能力，使得在小规模模型上调优的超参数可直接应用于大规模模型。然而，对于线性模型——尤其是那些具有结构化状态转移和复杂架构的模型——μP的扩展仍鲜有探索。Gated Delta Network作为一类新兴的线性循环架构，其门控机制与循环状态动态使得坐标尺度的传播变得复杂，缺乏相应的缩放理论。
针对这一空白，作者通过严格地在前向传播、门控机制以及循环状态动态中传播坐标大小估计，首次推导出了Gated Delta Network的缩放规则。这些规则明确了参数初始化、学习率等超参数应如何随模型宽度变化而调整，从而保持特征学习的稳定性。
为了验证理论分析的正确性与实用性，研究团队在语言模型预训练任务上进行了实验。结果表明，遵循所推导配置的模型在AdamW和SGD优化器下均能实现学习率跨模型宽度的稳定迁移，即在小宽度上调优的学习率可直接用于大宽度模型而不损失性能。相反，采用标准参数化（如标准初始化）的模型则无法实现这种迁移，学习率需要针对每个宽度单独调优。这一对比有力地支持了作者分析的正确性。
该工作的意义在于，它将μP的理论框架成功扩展至具有门控和循环状态动态的线性架构，为Gated Delta Network及其他类似结构的大规模训练提供了实用的超参数迁移方案。这不仅减少了大规模调参的计算开销，也为未来高效架构的规模化部署奠定了理论基础。论文全文可通过arXiv获取，包含详细的推导与实验设置。