近期,一篇發表在arXiv上的研究論文(arXiv:2607.26192)對機器學習領域中一個常見的誤解進行了澄清:依賴輸入的控制器係數經常被錯誤地當作動態推理或計算效率提升的證據。該研究由Zongfei Li等人完成,旨在區分動態引數化與動態推理這兩個概念,並提出一種新的審計方法——凍結控制器審計(Frozen-Controller Auditing, FCA)。
論文指出,依賴輸入的係數實際上混淆了三種不同的屬性:係數的變化性、凍結模型對係數分配方式的依賴性,以及條件執行(即是否跳過某些計算)。為了準確衡量第二種屬性,研究人員提出了FCA方法。該方法首先沿著未受干擾的軌跡快取完整的係數張量,然後停用控制器,並透過跨輸入重新分配、令牌洗牌以及從獨立校準集估計的靜態配置檔案來重放凍結模型。由於係數在干預之前已被快取,因此重放過程中的效能變化直接反映了分配依賴性,而不會受到在擾動隱狀態上重新計算控制器所帶來的反饋影響。
實驗部分,研究人員在七個獨立訓練的76M引數FeatureGate Transformer和三個504M引數模型上進行了測試。結果顯示,靜態逐層配置檔案分別保留了正確與全域性均值之間效能差距的98.70%和99.43%。層身份解釋了87%至96%的係數方差。值得注意的是,儘管FeatureGate採用了動態引數化,但它仍然執行了每一個Transformer塊,並且其實際推理速度比密集模型慢了30.8%。在公開的MUDDPythia-1.4B檢查點上,跨輸入重新分配和令牌洗牌分別使負對數似然增加了1.9067和2.9637,這表明模型強烈依賴於基於內容的跨層分配。MUDDPythia同樣執行了每一個Transformer塊。
這些結果強有力地表明,動態引數化本身並不等同於動態推理,功能上的動態性也不一定帶來計算節省。研究建議,關於動態模型的宣告應分別報告係數變化、凍結模型的功能依賴性以及實際執行情況。該研究為模型評估和推理最佳化提供了重要的方法論指導,提醒研究者和工程師不要被表面的動態特性所迷惑。