時間序列預測模型在部署時經常面臨外生協變數被汙染的問題,例如感測器噪聲、時間戳對齊錯誤或資料完全缺失。傳統的融合外生變數的模型在這種情況下效能會急劇下降,甚至不如僅使用內生變數的簡單模型。研究者們長期以來認為需要設計專門的魯棒架構來應對這些挑戰,但最新的研究顛覆了這一認知。
來自Hao Hu和Xue-shan Ai的論文提出了一種極其簡單的方法——外生Dropout。該方法在訓練過程中以一定機率將整個外生通道置零,強制模型不依賴特定的協變數,從而在推理時自然地適應各種退化情況。這種模型無關的方法可以應用於任何使用外生協變數的時間序列預測架構,無需修改模型結構。
實驗覆蓋了三個實際領域:電力價格預測、水庫水文預測和氣象預測。結果顯示,外生Dropout不僅不會損害模型在乾淨資料上的精度,還能在多種汙染場景下顯著提升魯棒性。具體地,在協變數受到高斯噪聲、時間錯位或完全缺失的情況下,外生Dropout訓練的模型效能下降幅度遠小於標準訓練方法。
為了驗證方法的有效性,研究者將其應用於一個雙相關網路,並與精心設計的BoundEx架構進行對比。BoundEx整合了可學習門控、後備殘差連線和每個通道的特徵調變,代表了當前強魯棒架構的水平。然而,實驗表明,即使無需這些複雜設計,僅使用外生Dropout訓練的模型在所有測試場景下都更為魯棒。透過架構-方式消融實驗、門控行為診斷和表示級別界限分析,論文證明了顯式的架構魯棒性並非必要,簡單的外生Dropout足以勝任。
該研究還發布了一個協變數魯棒性基準資料集,包含多種汙染型別和強度,供社群評估和比較。研究者強烈推薦將外生Dropout作為未來協變數時間序列預測的基線方法,因其簡單、高效且不依賴特定架構。這一發現可能改變實際系統中協變數預測的部署實踐,減少對複雜魯棒設計的需求。