時間序列預測模型在部署時經常面臨外生協變量被污染的問題,例如傳感器噪聲、時間戳對齊錯誤或數據完全缺失。傳統的融合外生變量的模型在這種情況下性能會急劇下降,甚至不如僅使用內生變量的簡單模型。研究者們長期以來認為需要設計專門的魯棒架構來應對這些挑戰,但最新的研究顛覆了這一認知。
來自Hao Hu和Xue-shan Ai的論文提出了一種極其簡單的方法——外生Dropout。該方法在訓練過程中以一定概率將整個外生通道置零,強制模型不依賴特定的協變量,從而在推理時自然地適應各種退化情況。這種模型無關的方法可以應用於任何使用外生協變量的時間序列預測架構,無需修改模型結構。
實驗覆蓋了三個實際領域:電力價格預測、水庫水文預測和氣象預測。結果顯示,外生Dropout不僅不會損害模型在乾淨數據上的精度,還能在多種污染場景下顯著提升魯棒性。具體地,在協變量受到高斯噪聲、時間錯位或完全缺失的情況下,外生Dropout訓練的模型性能下降幅度遠小於標準訓練方法。
為了驗證方法的有效性,研究者將其應用於一個雙相關網絡,並與精心設計的BoundEx架構進行對比。BoundEx集成了可學習門控、後備殘差連接和每個通道的特徵調製,代表了當前強魯棒架構的水平。然而,實驗表明,即使無需這些複雜設計,僅使用外生Dropout訓練的模型在所有測試場景下都更為魯棒。通過架構-方式消融實驗、門控行為診斷和表示級別界限分析,論文證明了顯式的架構魯棒性並非必要,簡單的外生Dropout足以勝任。
該研究還發布了一個協變量魯棒性基準數據集,包含多種污染類型和強度,供社區評估和比較。研究者強烈推薦將外生Dropout作為未來協變量時間序列預測的基線方法,因其簡單、高效且不依賴特定架構。這一發現可能改變實際系統中協變量預測的部署實踐,減少對複雜魯棒設計的需求。