EVOTS: 面向時間序列預測的進化Transformer搜索
本文提出了EVOTS，一種用於多變量時間序列預測的進化神經架構搜索框架。它採用模塊化基因組表示和修復機制，自動發現任務自適應的Transformer類模型。在ETT系列數據集上的實驗表明，該框架能在實際計算約束下找到性能優異的架構。
時間序列預測在眾多領域中扮演着關鍵角色，但傳統的固定Transformer架構難以適應多樣化的預測任務。為了突破這一限制，來自特拉華大學的研究團隊提出了EVOTS（進化Transformer搜索）框架，通過進化神經架構搜索自動發現任務自適應的Transformer類模型。
EVOTS的核心創新在於其模塊化基因組表示，這種表示將注意力機制、前饋網絡和投影組件編碼為可組合的模塊。在進化過程中，一個修復機制確保所有生成的架構在結構上有效，從而無需依賴人工設計的規則。這種設計使得EVOTS能夠有效探索廣闊的架構空間，而不需要手動調整。
為了驗證其有效性，研究團隊在ETT系列數據集（包括ETTh1、ETTh2、ETTm1和ETTm2）上進行了廣泛實驗。實驗覆蓋了單變量到單變量、多變量到單變量以及多變量到多變量等多種預測設置，預測長度分別為96、192、336和720個時間點。在多變量到多變量的設置下，EVOTS發現的架構在均方誤差指標上展現出與強Transformer基線相當甚至更優的性能。此外，研究還分析了不同預測設置下的性能差異，並報告了訓練時間，以提供計算成本的大致參考。
總體而言，EVOTS證明了進化搜索能夠在實際可行的運行時間內，有效發現高性能且靈活的Transformer類架構，為多變量時間序列預測提供了一種新的自動化設計途徑。這一方法有望推動時間序列預測模型的進一步發展，尤其適用於需要針對特定任務快速定製架構的場景。該論文發表於2026年6月30日，作者包括AbdElRahman ElSaid等人，相關研究成果已在arXiv上公佈。