QuantFlow：一种基于联邦Mamba的后Transformer基础模型，用于时间序列预测
QuantFlow是一种结合倒序嵌入、双向Mamba状态空间解码器、分位数回归和联邦学习的概率预测框架。实验表明，它在多个数据集上取得优异性能，并在非独立同分布联邦场景下保持准确率，同时揭示了在非规则流行病信号和长期泛化方面的局限性。
来源arXiv Machine Learning作者: Shah Nawaz Haider, Steve Austin, Arnab Barua, Sarowar Morshed Shawon, Hadaate Ullah
时间序列预测在金融、能源、交通、公共卫生和工业监测等领域支撑着关键决策。近年来，基础模型在跨任务迁移方面取得进展，但许多模型依赖集中式数据和Transformer注意力机制，这限制了其在长序列、高维和隐私敏感信号上的应用。针对这一问题，研究人员提出了QuantFlow——一种概率预测框架。该框架创新性地将倒序嵌入、双向Mamba状态空间解码器、分位数回归与联邦学习相结合。具体而言，每个变量在完整观测窗口上嵌入，经过前向和反向处理，映射到五个条件分位数。此外，TSMixup通过狄利克雷加权插值扩展时间多样性，同时保持序列结构。实验覆盖了加密货币、交通、电力、电力变压器温度、流感和天气等数据集。QuantFlow在ETTm1数据集上取得0.2834的均方误差，在Weather数据集上为0.2218。在20客户端非独立同分布部署场景下，仅经过三轮通信，模型就保持了有效精度，且无需集中原始数据。结果表明，选择性状态空间建模为可扩展、具有不确定性意识且保护隐私的时间序列预测提供了有前景的基础，但同时也揭示了在处理非规则流行病信号和长期泛化任务上的局限性。该论文共7页，包含4张图表，属于机器学习与人工智能领域。这一工作的意义在于，它不仅提供了一种新的建模范式，还通过联邦学习机制解决了数据隐私问题，使得在分布式环境下进行高效的时间序列预测成为可能。未来工作可以进一步探索如何改进模型对非规则信号的捕捉能力，以及提升长期预测的泛化性能。