QuantFlow：一種基於聯邦Mamba的後Transformer基礎模型，用於時間序列預測
QuantFlow是一種結合倒序嵌入、雙向Mamba狀態空間解碼器、分位數迴歸和聯邦學習的機率預測框架。實驗表明，它在多個資料集上取得優異效能，並在非獨立同分布聯邦場景下保持準確率，同時揭示了在非規則流行病訊號和長期泛化方面的侷限性。
來源arXiv Machine Learning作者: Shah Nawaz Haider, Steve Austin, Arnab Barua, Sarowar Morshed Shawon, Hadaate Ullah
時間序列預測在金融、能源、交通、公共衛生和工業監測等領域支撐著關鍵決策。近年來，基礎模型在跨任務遷移方面取得進展，但許多模型依賴集中式資料和Transformer注意力機制，這限制了其在長序列、高維和隱私敏感訊號上的應用。針對這一問題，研究人員提出了QuantFlow——一種機率預測框架。該框架創新性地將倒序嵌入、雙向Mamba狀態空間解碼器、分位數迴歸與聯邦學習相結合。具體而言，每個變數在完整觀測視窗上嵌入，經過前向和反向處理，對映到五個條件分位數。此外，TSMixup透過狄利克雷加權插值擴充套件時間多樣性，同時保持序列結構。實驗覆蓋了加密貨幣、交通、電力、電力變壓器溫度、流感和天氣等資料集。QuantFlow在ETTm1資料集上取得0.2834的均方誤差，在Weather資料集上為0.2218。在20客戶端非獨立同分布部署場景下，僅經過三輪通訊，模型就保持了有效精度，且無需集中原始資料。結果表明，選擇性狀態空間建模為可擴充套件、具有不確定性意識且保護隱私的時間序列預測提供了有前景的基礎，但同時也揭示了在處理非規則流行病訊號和長期泛化任務上的侷限性。該論文共7頁，包含4張圖表，屬於機器學習與人工智慧領域。這一工作的意義在於，它不僅提供了一種新的建模正規化，還透過聯邦學習機制解決了資料隱私問題，使得在分散式環境下進行高效的時間序列預測成為可能。未來工作可以進一步探索如何改進模型對非規則訊號的捕捉能力，以及提升長期預測的泛化效能。