近年、大規模視覚モデル（LVM）が時系列予測において驚くべき効果を示しています。その手法は時系列データを画像としてレンダリングし、事前学習済みモデルの知識を転移するというものです。しかし、この成功は未検証の前提に依存しています。レンダリングされた時系列画像が自然画像に十分近く、知識転移が効果的に行われるという前提です。研究チームは、スペクトルギャップと構造ギャップという2つのギャップが依然として存在し、LVMの時系列予測における可能性を根本的に制限していると主張します。
スペクトルギャップに関しては、系統的な解析により、レンダリングされた時系列画像はLVMが認識するように学習された自然画像よりも著しく浅いパワースペクトルを持つことが明らかになりました。構造ギャップに関しては、1次元の時系列を2次元グリッドに再形成することで、偽の空間的近接性が生じ、真の時間的連続性が切断され、事前学習済みLVMの空間的帰納バイアスを誤った方向に導きます。例えば、隣接する時間点がグリッド上で隣接しない場合や、本来隣接しない時間点が隣接して配置されることがあります。
これらのギャップを埋めるために、著者らはSSDA（Spectral and Structural Dual Adaptation）を提案します。これはスペクトルと構造の両面で適応を行う二重分岐ネットワークです。データレベルでは、スペクトル振幅アライナー（SMA）が2次元FFTを適用し、位相を保持しながら振幅スペクトルを自然画像の統計に近づけるように選択的に強調します。モデルレベルでは、構造誘導低ランク適応（SG-LoRA）が位置認識型時間エンコーディングをパッチ埋め込みに注入し、低ランク更新を介してアテンションを適応させます。2つの分岐はさらに適応的に融合され、最終予測を生成します。
7つの実世界ベンチマークを用いた広範な実験により、SSDAはフルショットおよび少数ショット設定の両方で、強力なLVMベースおよびLLMベースのベースラインを一貫して上回ることが実証されました。これらのベンチマークには電力、交通、天気など多様な分野の予測タスクが含まれています。コードは公開されており、この研究は視覚モデルを時系列予測に活用する新たな可能性を開くものであり、特に少数ショット学習のシナリオで重要な応用価値があります。