跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

外生Dropout:一种简单且强大的协变量鲁棒时间序列预测基线方法

文章摘要

本文提出外生Dropout,一种在训练时随机置零整个外生通道的模型无关方法,显著提升时间序列预测模型在噪声、时间错位和缺失协变量下的鲁棒性,同时保持干净数据的精度。实验表明,该方法优于专门设计的鲁棒架构,为协变量预测提供了简单有效的基线。

来源arXiv Machine Learning作者: Hao Hu, Xue-shan Ai
外生Dropout:一种简单且强大的协变量鲁棒时间序列预测基线方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

时间序列预测模型在部署时经常面临外生协变量被污染的问题,例如传感器噪声、时间戳对齐错误或数据完全缺失。传统的融合外生变量的模型在这种情况下性能会急剧下降,甚至不如仅使用内生变量的简单模型。研究者们长期以来认为需要设计专门的鲁棒架构来应对这些挑战,但最新的研究颠覆了这一认知。

来自Hao Hu和Xue-shan Ai的论文提出了一种极其简单的方法——外生Dropout。该方法在训练过程中以一定概率将整个外生通道置零,强制模型不依赖特定的协变量,从而在推理时自然地适应各种退化情况。这种模型无关的方法可以应用于任何使用外生协变量的时间序列预测架构,无需修改模型结构。

实验覆盖了三个实际领域:电力价格预测、水库水文预测和气象预测。结果显示,外生Dropout不仅不会损害模型在干净数据上的精度,还能在多种污染场景下显著提升鲁棒性。具体地,在协变量受到高斯噪声、时间错位或完全缺失的情况下,外生Dropout训练的模型性能下降幅度远小于标准训练方法。

为了验证方法的有效性,研究者将其应用于一个双相关网络,并与精心设计的BoundEx架构进行对比。BoundEx集成了可学习门控、后备残差连接和每个通道的特征调制,代表了当前强鲁棒架构的水平。然而,实验表明,即使无需这些复杂设计,仅使用外生Dropout训练的模型在所有测试场景下都更为鲁棒。通过架构-方式消融实验、门控行为诊断和表示级别界限分析,论文证明了显式的架构鲁棒性并非必要,简单的外生Dropout足以胜任。

该研究还发布了一个协变量鲁棒性基准数据集,包含多种污染类型和强度,供社区评估和比较。研究者强烈推荐将外生Dropout作为未来协变量时间序列预测的基线方法,因其简单、高效且不依赖特定架构。这一发现可能改变实际系统中协变量预测的部署实践,减少对复杂鲁棒设计的需求。

展开要点与分析

文章情报

工程师进阶

要点

  • 外生Dropout在训练中随机置零整个外生通道,不依赖特定架构。
  • 在电力价格、水库水文和气象预测中,该方法显著提升对高斯噪声、时间错位和缺失通道的鲁棒性。
  • 与专门设计的BoundEx架构相比,外生Dropout训练的模型在所有测试域中更鲁棒。
  • 释放了协变量鲁棒性基准,推荐作为未来工作的基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。