架构驱动的偏移：一种用于捕捉对数几率偏移趋势的轻量级选择器
本文提出了一种轻量级的架构驱动偏移（ADS）度量，用于在持续学习中高效选择预训练模型。ADS通过解耦对数几率偏移为架构依赖和数据依赖，仅需少量数据样本即可捕捉偏移趋势。实验表明，ADS与对数几率偏移之间存在强单调相关性（斯皮尔曼相关系数最低0.731），并可作为预期校准误差的有效代理，在六个场景、三个数据集上验证了其可靠性。
文章情报
要点
- 持续学习中，选择能平衡可塑性与稳定性的预训练模型至关重要，但对数几率偏移计算成本高。
- 现有理论假设隐藏层宽度统一，忽略实际架构的异构性，无法高效替代。
- 提出的ADS度量解耦偏移为架构和数据依赖，基于三个机制组件，仅需少量数据即可计算。
- 超过175种架构的实验证明ADS与对数几率偏移强相关，且能作为轻量级模型选择代理。
为什么重要
这条新闻值得关注，因为持续学习中，选择能平衡可塑性与稳定性的预训练模型至关重要，但对数几率偏移计算成本高。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
在持续学习（Continual Learning, CL）的研究中，如何有效地利用深度预训练神经网络的能力是一个核心议题。然而，当模型需要适应新任务时，一个关键挑战在于如何选择那些能够良好平衡“可塑性-稳定性”（Plasticity-Stability）的预训练模型。现有的评估方法通常依赖于对数几率偏移（logit shift）这一自然代理指标，因为它直接反映了模型在CL场景中的适应程度。但是，精确计算对数几率偏移需要大量的计算资源，这在大规模模型选择中成为了一个瓶颈。此外，现有的理论分析往往假设隐藏层宽度是均匀的，然而真实世界的神经网络架构往往具有各向异性的宽度和深度，这种假设的局限性使得现有方法无法提供一个高效的替代方案。
针对这一问题，研究团队提出了一个全新的框架——架构驱动偏移（Architecture-driven Shift, ADS）。该框架通过将对数几率偏移解耦为架构依赖和数据依赖两个部分，揭示了这两部分组合起来可以很好地捕捉对数几率偏移的趋势，并且这种组合的计算仅需要少量数据样本。具体来说，对于一个在先前任务上已经优化良好的模型，越高的ADS值意味着该模型在完成当前任务的训练后会产生更大的对数几率偏移。这一结论基于三个机制组件：第一，权重矩阵梯度的谱范数会随着层宽的变化而缩放；第二，新任务的优化路径长度；第三，宽网络中的渐近任务冲突。这三个组件共同构成了ADS的理论基础。
为了验证ADS的有效性，研究者在超过175种不同的架构上进行了广泛的实验。结果表明，ADS与实际的的对数几率偏移之间存在非常强的单调相关性，其中最弱的斯皮尔曼相关系数也达到了0.731。更进一步，研究者发现ADS可以作为一种轻量级的代理，用来替代预期校准误差（expected calibration error）这一在可靠CL模型选择中广泛使用的度量。该结论在三个数据集、六个不同的场景下得到了充分的验证，充分证明了ADS的实用性和可靠性。
这项研究为持续学习中的模型选择开辟了一条高效的新路径。通过大幅降低计算开销，ADS使得大规模预训练模型的评估变得更加可行和便捷。未来的研究可以进一步探索ADS在更多样化的场景以及更大规模模型中的应用潜力，从而推动持续学习领域的发展。