長期時間序列預測在複雜系統中常因數據集級分佈漂移而失效,這種漂移源於多種潛在行為模式和系統狀態的演化。現有方法大多關注局部時間漂移,但未能建模數據集的全局結構——即不同運行機制的複合體。為此,研究團隊提出NEST框架,採用兩階段密集混合專家(MoE)架構來顯式建模和重組這些演化結構。
NEST的第一階段通過無監督聚類在矩-熵空間中將數據集劃分為不同的運行機制,實現結構專門化。矩-熵空間是一個理論驅動的特徵空間,能夠有效區分數據的內在模式。第二階段引入面向機制的路由器機制:首先根據時間內容生成初始專家權重,再通過幾何調製向機制質心精化。這種設計使得路由器能夠動態地為每個時間點分配最相關的專家。
與傳統方法將專家視為單一預測器不同,NEST中的每個專家充當專門的內核,通過演化獨特的變量注意力模式來捕獲機制特定的動態。這種設計允許專家專注於學習某類運行模式的時序依賴關係,從而提升預測精度。
在異構網絡流量和物理現象等多個基準測試上,NEST一致取得了最先進的性能。實驗表明,該方法在處理複雜、多模式的時間序列時具有顯著優勢。此外,研究團隊已公開代碼和數據集,以促進相關領域的進一步研究。代碼和數據集可在https://github.com/Aaralshin/NEST獲取。