EVOTS: 面向时间序列预测的进化Transformer搜索
本文提出了EVOTS，一种用于多变量时间序列预测的进化神经架构搜索框架。它采用模块化基因组表示和修复机制，自动发现任务自适应的Transformer类模型。在ETT系列数据集上的实验表明，该框架能在实际计算约束下找到性能优异的架构。
时间序列预测在众多领域中扮演着关键角色，但传统的固定Transformer架构难以适应多样化的预测任务。为了突破这一限制，来自特拉华大学的研究团队提出了EVOTS（进化Transformer搜索）框架，通过进化神经架构搜索自动发现任务自适应的Transformer类模型。
EVOTS的核心创新在于其模块化基因组表示，这种表示将注意力机制、前馈网络和投影组件编码为可组合的模块。在进化过程中，一个修复机制确保所有生成的架构在结构上有效，从而无需依赖人工设计的规则。这种设计使得EVOTS能够有效探索广阔的架构空间，而不需要手动调整。
为了验证其有效性，研究团队在ETT系列数据集（包括ETTh1、ETTh2、ETTm1和ETTm2）上进行了广泛实验。实验覆盖了单变量到单变量、多变量到单变量以及多变量到多变量等多种预测设置，预测长度分别为96、192、336和720个时间点。在多变量到多变量的设置下，EVOTS发现的架构在均方误差指标上展现出与强Transformer基线相当甚至更优的性能。此外，研究还分析了不同预测设置下的性能差异，并报告了训练时间，以提供计算成本的大致参考。
总体而言，EVOTS证明了进化搜索能够在实际可行的运行时间内，有效发现高性能且灵活的Transformer类架构，为多变量时间序列预测提供了一种新的自动化设计途径。这一方法有望推动时间序列预测模型的进一步发展，尤其适用于需要针对特定任务快速定制架构的场景。该论文发表于2026年6月30日，作者包括AbdElRahman ElSaid等人，相关研究成果已在arXiv上公布。