近期一篇來自arXiv的論文《粒度悖論:時間離散化如何膨脹樣本內擬合併加劇樣本外誤差》(作者Hugo Moreira)深入探討了時間序列預測中的一個反直覺現象:當我們將時間數據從較粗的粒度(如月度)細分到更細的粒度(如周度或日度)時,模型在訓練集上的擬合效果往往提升,但實際預測的準確率卻可能顯著下降。這一現象被稱為“粒度悖論”。
該研究首先從理論上形式化了這一權衡:更細的時間粒度增加了可用數據點(N),使得模型能夠捕捉更多短期模式,從而提升樣本內擬合指標。然而,當模型用於預測未來值時,每一步預測的誤差會遞歸地傳遞到後續步驟,導致在整個預測區間(H)上累積的誤差急劇增大。相反,將數據聚合到更粗的粒度(如年度)可以消除遞歸誤差傳播,但會減少有效數據量,削弱模型的估計能力。
為了實證檢驗這一悖論,研究者使用了一個涵蓋13年的公共採購數據集,在六種時間粒度(年度、半年度、季度、月度、雙週、日度)上對十種模型進行了基準測試。這些模型包括樸素方法、統計模型(如Holt-Winters、ARIMA)、機器學習模型(如線性迴歸、隨機森林)和深度學習模型(如LSTM)。
結果揭示了非單調的閾值結構:遞歸自迴歸模型和季節性模型在高頻預測中表現急劇惡化。例如,Holt-Winters模型在日粒度上的測試R²低至-151,TPFE(總預測誤差百分比)達到425.85%。而LSTM則呈現出一條U形誤差曲線:從月度(TPFE 19.66%)到雙週(35.94%)誤差上升,但在日粒度(TPFE 4.35%,R² 0.66)反而大幅改善,表明LSTM能夠通過學習長期依賴來克服誤差傳播。值得注意的是,簡單的線性迴歸在所有粒度下都保持穩定(TPFE 16.3-17.0%),這強有力地表明,粒度悖論的根本原因在於模型的遞歸反饋拓撲結構,而非複雜度。
此外,研究指出,傳統點態指標(如RMSE、MAE)系統性地掩蓋了累積誤差傳播。僅依賴這些指標可能導致對模型能力的錯誤評估。為此,作者引入了一種“共識-分歧診斷”方法,通過比較點態指標與累積TPFE在不同粒度下的方向性行為,來識別那些標準診斷掩蓋了誤差傳播的模型。
這項研究對實際時間序列預測應用具有重要啓示:在選擇數據粒度時,不能僅考慮樣本內擬合,而必須結合預測任務的具體目標(如預測步長、誤差累積方式)來評估模型。同時,評估指標體系應包含累積誤差指標,以避免被優化後的樣本內指標誤導。