時系列予測モデルは実運用時に、外生共変量がノイズ、時間的ずれ、または欠損などの汚染を受けると脆弱になり、内生変数のみを使ったモデルよりも性能が低下することがある。これまで、この問題に対処するには特別なアーキテクチャが必要と考えられていたが、最新の研究はその仮定を覆した。
Hao Hu氏とXue-shan Ai氏による論文では、「外生的ドロップアウト」と呼ばれる極めてシンプルな手法を提案している。この手法は訓練時に外生チャネル全体をランダムにゼロにするだけで、モデルアーキテクチャに一切手を加える必要がない。実験は電力価格予測、貯水池水文予測、気象予測の3ドメインで実施され、外生的ドロップアウトはクリーンデータでの精度を損なうことなく、ガウスノイズ、時間的ミスアライメント、完全なチャネル欠損に対するロバスト性を劇的に向上させた。
研究チームは、提案手法をデュアルコリレーションネットワークに適用し、意図的に強力に設計された境界アーキテクチャ「BoundEx」と比較した。BoundExは学習可能なゲート、内生バックボーンへのフォールバック残差接続、チャネルごとの外生FiLM変調を備えるが、外生的ドロップアウトで訓練したモデルはあらゆるドメインでこれを上回った。アーキテクチャ別のドロップアウトアブレーション、ゲート動作診断、表現レベルでの解析により、明示的なアーキテクチャ上の境界は必要なく、シンプルな外生的ドロップアウトで十分なロバスト性が得られることが示された。
本研究はさらに、汚染ロバスト性ベンチマークを公開し、今後の共変量時系列予測研究のベースラインとして外生的ドロップアウトを強く推奨している。この発見は、実際のシステムにおける共変量予測の展開方法を変え、複雑なロバスト設計の必要性を減らす可能性がある。