时间序列预测模型在部署时经常面临外生协变量被污染的问题,例如传感器噪声、时间戳对齐错误或数据完全缺失。传统的融合外生变量的模型在这种情况下性能会急剧下降,甚至不如仅使用内生变量的简单模型。研究者们长期以来认为需要设计专门的鲁棒架构来应对这些挑战,但最新的研究颠覆了这一认知。
来自Hao Hu和Xue-shan Ai的论文提出了一种极其简单的方法——外生Dropout。该方法在训练过程中以一定概率将整个外生通道置零,强制模型不依赖特定的协变量,从而在推理时自然地适应各种退化情况。这种模型无关的方法可以应用于任何使用外生协变量的时间序列预测架构,无需修改模型结构。
实验覆盖了三个实际领域:电力价格预测、水库水文预测和气象预测。结果显示,外生Dropout不仅不会损害模型在干净数据上的精度,还能在多种污染场景下显著提升鲁棒性。具体地,在协变量受到高斯噪声、时间错位或完全缺失的情况下,外生Dropout训练的模型性能下降幅度远小于标准训练方法。
为了验证方法的有效性,研究者将其应用于一个双相关网络,并与精心设计的BoundEx架构进行对比。BoundEx集成了可学习门控、后备残差连接和每个通道的特征调制,代表了当前强鲁棒架构的水平。然而,实验表明,即使无需这些复杂设计,仅使用外生Dropout训练的模型在所有测试场景下都更为鲁棒。通过架构-方式消融实验、门控行为诊断和表示级别界限分析,论文证明了显式的架构鲁棒性并非必要,简单的外生Dropout足以胜任。
该研究还发布了一个协变量鲁棒性基准数据集,包含多种污染类型和强度,供社区评估和比较。研究者强烈推荐将外生Dropout作为未来协变量时间序列预测的基线方法,因其简单、高效且不依赖特定架构。这一发现可能改变实际系统中协变量预测的部署实践,减少对复杂鲁棒设计的需求。