複雜性指導的組件級初始化用於語言模型預訓練

近日，一篇題為《Complexity-Guided Component-wise Initialization for Language Model Pretraining》的論文在arXiv上發佈，探討了如何利用預訓練語言模型中的權重譜模式來指導GPT-2風格模型的預訓練初始化。權重譜是指權重矩陣的奇異值分佈，預訓練模型通常呈現結構化的譜分佈，表明訓練過程可能反覆產生類似的逐層和逐組件組織。該研究旨在驗證這些譜模式能否作為有效的初始化信號。

研究者首先分析了11個不同規模、語言、分詞器和訓練語料的GPT-2風格檢查點，測量了各層和Transformer子組件（如注意力層和前饋層）的Frobenius範數和有效秩熵。Frobenius範數反映了權重矩陣的整體規模，有效秩熵則衡量了奇異值分佈的集中程度。分析顯示，這些檢查點存在共享的深度趨勢：隨着層數增加，殘差寫入矩陣（residual-writing matrices）的Frobenius範數不斷增大，且奇異值分佈更加集中（有效秩熵降低）。這表明預訓練模型在深層中傾向於使用更大且譜更集中的權重矩陣。

基於這一發現，研究者設計了多種初始化方案，這些方案試圖模仿預訓練模型的組件級幅度（即Frobenius範數）和譜形狀（即奇異值分佈）。他們將這些譜模仿初始化與標準初始化方法（如Xavier、Kaiming等）以及直接重用預訓練權重的基線進行了對比。實驗在多個下游任務上進行評估，包括語言建模和文本分類。結果表明，譜模仿初始化確實改變了模型的初始譜模式，使其更接近預訓練模型，但在下游任務上並未帶來性能提升，甚至在某些情況下略遜於標準初始化。相比之下，直接重用預訓練權重仍然保持了最高的性能。

進一步分析表明，粗粒度的譜匹配（僅匹配組件級的規模和奇異值形狀）不足以捕獲預訓練權重的關鍵信息。研究者認為，預訓練譜對於診斷訓練模型的結構非常有用，例如可以揭示哪些層或組件具有較大的學習容量，但要實現有效的初始化重用，可能需要保留更豐富的信息，例如權重矩陣的內部相關性或更細粒度的結構。該研究為理解預訓練模型的內部結構提供了新視角，並指出未來研究方向：在初始化中保留更多預訓練權重的複雜信息，例如通過知識蒸餾或特徵重放等方法。

總的來説，這項研究雖然未能驗證譜模仿初始化的直接有效性，但深入分析了預訓練模型的譜特徵，並指出了其作為診斷工具的潛力。對於從事模型預訓練的研究者，這些發現有助於設計更高效的初始化策略，並可能引導後續探索更精細的權重重用技術。