复杂性指导的组件级初始化用于语言模型预训练

近日，一篇题为《Complexity-Guided Component-wise Initialization for Language Model Pretraining》的论文在arXiv上发布，探讨了如何利用预训练语言模型中的权重谱模式来指导GPT-2风格模型的预训练初始化。权重谱是指权重矩阵的奇异值分布，预训练模型通常呈现结构化的谱分布，表明训练过程可能反复产生类似的逐层和逐组件组织。该研究旨在验证这些谱模式能否作为有效的初始化信号。

研究者首先分析了11个不同规模、语言、分词器和训练语料的GPT-2风格检查点，测量了各层和Transformer子组件（如注意力层和前馈层）的Frobenius范数和有效秩熵。Frobenius范数反映了权重矩阵的整体规模，有效秩熵则衡量了奇异值分布的集中程度。分析显示，这些检查点存在共享的深度趋势：随着层数增加，残差写入矩阵（residual-writing matrices）的Frobenius范数不断增大，且奇异值分布更加集中（有效秩熵降低）。这表明预训练模型在深层中倾向于使用更大且谱更集中的权重矩阵。

基于这一发现，研究者设计了多种初始化方案，这些方案试图模仿预训练模型的组件级幅度（即Frobenius范数）和谱形状（即奇异值分布）。他们将这些谱模仿初始化与标准初始化方法（如Xavier、Kaiming等）以及直接重用预训练权重的基线进行了对比。实验在多个下游任务上进行评估，包括语言建模和文本分类。结果表明，谱模仿初始化确实改变了模型的初始谱模式，使其更接近预训练模型，但在下游任务上并未带来性能提升，甚至在某些情况下略逊于标准初始化。相比之下，直接重用预训练权重仍然保持了最高的性能。

进一步分析表明，粗粒度的谱匹配（仅匹配组件级的规模和奇异值形状）不足以捕获预训练权重的关键信息。研究者认为，预训练谱对于诊断训练模型的结构非常有用，例如可以揭示哪些层或组件具有较大的学习容量，但要实现有效的初始化重用，可能需要保留更丰富的信息，例如权重矩阵的内部相关性或更细粒度的结构。该研究为理解预训练模型的内部结构提供了新视角，并指出未来研究方向：在初始化中保留更多预训练权重的复杂信息，例如通过知识蒸馏或特征重放等方法。

总的来说，这项研究虽然未能验证谱模仿初始化的直接有效性，但深入分析了预训练模型的谱特征，并指出了其作为诊断工具的潜力。对于从事模型预训练的研究者，这些发现有助于设计更高效的初始化策略，并可能引导后续探索更精细的权重重用技术。