EVOTS: 時系列予測のための進化的Transformer探索
本論文では、多変量時系列予測のための進化的ニューラルアーキテクチャ探索フレームワークEVOTSを提案する。モジュラーゲノム表現と修復機構により、タスク適応型のTransformer類似モデルを自動的に発見し、ETTベンチマークで競争力のある結果を示した。
時系列予測は多くの分野で重要な役割を果たすが、従来の固定されたTransformerアーキテクチャは多様なタスクに適応するのが難しい。この制限を打破するため、デラウェア大学の研究チームは、進化的ニューラルアーキテクチャ探索を通じてタスク適応型のTransformer類似モデルを自動発見するフレームワーク「EVOTS（進化的Transformer探索）」を提案した。
EVOTSの核心はモジュラーゲノム表現であり、注意機構、フィードフォワードネットワーク、射影成分を組み合わせ可能なモジュールとして符号化する。進化過程では修復機構により、生成されたすべてのアーキテクチャが構造的に有効であることが保証され、手動設計ルールを必要としない。この設計により、EVOTSは広大なアーキテクチャ空間を効果的に探索できる。
有効性を検証するため、研究チームはETTデータセットファミリー（ETTh1、ETTh2、ETTm1、ETTm2）で広範な実験を行った。実験は、単変量から単変量、多変量から単変量、多変量から多変量への予測設定をカバーし、予測長は96、192、336、720の4種類である。多変量から多変量の設定では、EVOTSが発見したアーキテクチャは、強いTransformerベースラインと同等かそれ以上の平均二乗誤差を示した。また、予測設定間の性能差を分析し、計算コストの大まかな指標としてトレーニング時間も報告している。
全体として、EVOTSは実用的な実行時間内に、高性能で柔軟なTransformer類似アーキテクチャを効果的に発見できることを実証しており、多変量時系列予測のための新たな自動設計手法を提供する。このアプローチは、特定のタスクに迅速にアーキテクチャを適応させる必要があるシナリオで特に有用であり、時系列予測モデルのさらなる発展に貢献することが期待される。本論文は2026年6月30日に提出され、AbdElRahman ElSaidらによって執筆された。