时间序列预测在金融、能源、交通、公共卫生和工业监测等领域的决策中扮演着关键角色。近年来,基础模型通过大规模预训练提升了跨预测任务的迁移能力,但多数模型依赖于集中式数据存储和Transformer注意力机制。这种依赖性限制了它们在处理长序列、高维信号以及隐私敏感数据时的适用性。针对这一问题,Shah Nawaz Haider等五位作者在2026年7月2日提交至arXiv的论文中提出了QuantFlow,一个面向时间序列预测的联邦概率框架。
QuantFlow的设计核心是将多种技术组件有机融合。首先,它采用反转序列嵌入(inverted sequence embedding),将每个变量在完整的观测窗口上进行嵌入,从而更好地捕捉变量内部的时序模式。其次,模型使用双向Mamba状态空间解码器,分别沿前向和反向处理序列信息,以增强对上下文的理解。最后,通过分位数回归将输出投影到五个条件分位数,使预测不仅提供点估计,还能量化不确定性。
为了进一步提升模型泛化能力,作者引入了TSMixup数据增强策略。该方法通过Dirichlet加权插值在保持序列结构的前提下扩展时间维度的多样性,从而模拟更多样的时序变化。这种增强方式与Mamba的状态空间建模相结合,有助于模型学习更鲁棒的表示。
实验评估覆盖了六个不同领域的数据集:加密货币、交通、电力、电力变压器温度(ETT)、流感和天气。在ETTm1数据集上,QuantFlow取得了0.2834的均方误差(MSE);在Weather数据集上,MSE为0.2218。这些结果表明,基于选择性状态空间建模的架构在预测精度上具有竞争力。此外,作者还模拟了一个包含20个客户端的非独立同分布(non-IID)联邦学习场景。经过仅三轮通信,模型仍保持了可用的准确率,且整个过程中原始记录从未被集中化。这凸显了联邦学习在隐私保护方面的潜力。
然而,论文也坦诚地指出了模型的局限性。在流感等流行病学信号上,由于数据的不规则性和复杂性,QuantFlow的表现受到限制;同时,在长程预测任务中,模型的泛化能力仍有待提升。这些发现为未来研究指明了方向,例如针对不规则采样数据的专门处理以及长序列建模的改进。
总体而言,QuantFlow展示了选择性状态空间模型作为可扩展、不确定性感知且隐私友好的时间序列预测基础的潜力,为后Transformer时代的基础模型设计提供了新思路。