近年來，大型視覺模型（LVM）在時間序列預測領域展現出驚人潛力，其方法是將時間序列資料轉換為影像形式，從而利用預訓練模型的知識。然而，這一成功建立在未經充分檢驗的前提上：渲染後的時間序列影像與自然影像足夠相似，使得模型能夠有效遷移。研究團隊在最新論文中指出，兩者之間仍存在光譜和結構兩個關鍵差距，從根本上限制了LVM在時間序列預測中的表現。
光譜差距方面，研究發現渲染後的時間序列影像在功率譜上明顯比LVM預訓練時識別的自然影像更淺。這意味著，LVM在自然影像上學習到的特徵表示無法直接遷移到時間序列影像上。結構差距方面，將一維時間序列重塑為二維網格，會製造出虛假的空間鄰接關係，同時切斷真實的時間連續性，從而誤導預訓練LVM的空間歸納偏置。例如，相鄰的時間點可能在網格中並不相鄰，而原本不相鄰的時間點卻被安排在相鄰位置。
為了解決這些問題，作者提出了SSDA（Spectral and Structural Dual Adaptation）網路，這是一個雙分支結構，分別在光譜和結構層面進行適應，以釋放LVM的全部潛力。在資料層面，頻譜幅度對齊器（SMA）利用二維快速傅立葉變換（2D FFT），選擇性地增強幅度譜使其接近自然影像統計特性，同時保留相位資訊。這樣，渲染影像的光譜分佈就被拉向自然影像的分佈。在模型層面，結構引導的低秩適應（SG-LoRA）將位置感知的時間編碼注入到補丁嵌入中，並透過低秩更新調整注意力機制，使模型能夠正確理解時間順序。兩個分支的輸出經過自適應融合，生成最終預測結果。
透過在七個真實世界基準測試上的廣泛實驗，SSDA在全樣本和少樣本設定下均一致優於基於LVM和LLM的強基線模型。這些基準包括電力、交通、天氣等多個領域的預測任務。程式碼已公開，相關論文可在arXiv上獲取。這項研究為利用視覺模型進行時間序列預測提供了新的思路，有望推動該領域的發展，特別是在少樣本學習場景下具有重要應用價值。