EVOTS: 面向時間序列預測的進化Transformer搜尋
本文提出了EVOTS，一種用於多變數時間序列預測的進化神經架構搜尋框架。它採用模組化基因組表示和修復機制，自動發現任務自適應的Transformer類模型。在ETT系列資料集上的實驗表明，該框架能在實際計算約束下找到效能優異的架構。
時間序列預測在眾多領域中扮演著關鍵角色，但傳統的固定Transformer架構難以適應多樣化的預測任務。為了突破這一限制，來自特拉華大學的研究團隊提出了EVOTS（進化Transformer搜尋）框架，透過進化神經架構搜尋自動發現任務自適應的Transformer類模型。
EVOTS的核心創新在於其模組化基因組表示，這種表示將注意力機制、前饋網路和投影元件編碼為可組合的模組。在進化過程中，一個修復機制確保所有生成的架構在結構上有效，從而無需依賴人工設計的規則。這種設計使得EVOTS能夠有效探索廣闊的架構空間，而不需要手動調整。
為了驗證其有效性，研究團隊在ETT系列資料集（包括ETTh1、ETTh2、ETTm1和ETTm2）上進行了廣泛實驗。實驗覆蓋了單變數到單變數、多變數到單變數以及多變數到多變數等多種預測設定，預測長度分別為96、192、336和720個時間點。在多變數到多變數的設定下，EVOTS發現的架構在均方誤差指標上展現出與強Transformer基線相當甚至更優的效能。此外，研究還分析了不同預測設定下的效能差異，並報告了訓練時間，以提供計算成本的大致參考。
總體而言，EVOTS證明了進化搜尋能夠在實際可行的執行時間內，有效發現高效能且靈活的Transformer類架構，為多變數時間序列預測提供了一種新的自動化設計途徑。這一方法有望推動時間序列預測模型的進一步發展，尤其適用於需要針對特定任務快速定製架構的場景。該論文發表於2026年6月30日，作者包括AbdElRahman ElSaid等人，相關研究成果已在arXiv上公佈。