QuantFlow：一種基於聯邦Mamba的後Transformer基礎模型，用於時間序列預測
QuantFlow是一種結合倒序嵌入、雙向Mamba狀態空間解碼器、分位數迴歸和聯邦學習的概率預測框架。實驗表明，它在多個數據集上取得優異性能，並在非獨立同分布聯邦場景下保持準確率，同時揭示了在非規則流行病信號和長期泛化方面的侷限性。
來源arXiv Machine Learning作者: Shah Nawaz Haider, Steve Austin, Arnab Barua, Sarowar Morshed Shawon, Hadaate Ullah
時間序列預測在金融、能源、交通、公共衞生和工業監測等領域支撐着關鍵決策。近年來，基礎模型在跨任務遷移方面取得進展，但許多模型依賴集中式數據和Transformer注意力機制，這限制了其在長序列、高維和隱私敏感信號上的應用。針對這一問題，研究人員提出了QuantFlow——一種概率預測框架。該框架創新性地將倒序嵌入、雙向Mamba狀態空間解碼器、分位數迴歸與聯邦學習相結合。具體而言，每個變量在完整觀測窗口上嵌入，經過前向和反向處理，映射到五個條件分位數。此外，TSMixup通過狄利克雷加權插值擴展時間多樣性，同時保持序列結構。實驗覆蓋了加密貨幣、交通、電力、電力變壓器温度、流感和天氣等數據集。QuantFlow在ETTm1數據集上取得0.2834的均方誤差，在Weather數據集上為0.2218。在20客户端非獨立同分布部署場景下，僅經過三輪通信，模型就保持了有效精度，且無需集中原始數據。結果表明，選擇性狀態空間建模為可擴展、具有不確定性意識且保護隱私的時間序列預測提供了有前景的基礎，但同時也揭示了在處理非規則流行病信號和長期泛化任務上的侷限性。該論文共7頁，包含4張圖表，屬於機器學習與人工智能領域。這一工作的意義在於，它不僅提供了一種新的建模範式，還通過聯邦學習機制解決了數據隱私問題，使得在分佈式環境下進行高效的時間序列預測成為可能。未來工作可以進一步探索如何改進模型對非規則信號的捕捉能力，以及提升長期預測的泛化性能。