近日,来自Omar Faruque等学者的研究团队在arXiv上发布了一项新工作,提出了名为TTCD(Transformer Integrated Temporal Causal Discovery)的框架,用于从非平稳时间序列数据中学习因果结构。该研究针对环境科学、流行病学、经济学等领域中普遍存在的复杂时间序列数据,这些数据往往具有非平稳性、非线性和噪声干扰,给因果发现带来了巨大挑战。
传统的因果发现方法主要分为两类:基于约束的方法和基于评分的方法。基于约束的方法依赖条件独立性检验,但在有限样本和复杂分布下性能退化严重;基于评分的方法则施加了较强的统计假设,难以适用于真实世界的复杂场景。近期的一些方法虽然能够处理变化点检测或分布偏移等特殊情况,但缺乏统一的解决方案。
TTCD框架的核心是一个端到端模型,包含两个主要组件:非平稳特征学习器(Non-Stationary Feature Learner)和因果结构学习器(Causal Structure Learner)。非平稳特征学习器创新性地融合了时间域和频率域的注意力机制,并结合动态非平稳性分析,能够有效提取时序特征中的关键信息。该框架的关键创新在于重建引导的因果信号蒸馏(Reconstruction-guided Causal Signal Distillation):通过Transformer解码器的重建过程,蒸馏出关键的因果信号,同时抑制噪声和虚假相关,保留有意义的依赖关系。随后,因果结构学习器基于这些蒸馏后的信号推断因果图,无需对噪声分布或数据生成过程做出严格的假设。
实验部分,研究团队在合成数据、基准数据集以及真实世界数据集上进行了全面评估。结果表明,TTCD在因果结构的准确性和与领域知识的一致性方面均持续优于现有的最先进基线方法。具体来说,在合成数据上,TTCD能够准确恢复出预设的因果图;在基准数据集(如Synthetic、Sigmoid等)上,其性能显著领先;在真实世界的环境监测和流行病数据上,TTCD发现的因果关系与已有领域知识高度吻合。
该工作的意义在于为复杂实际场景下的因果发现提供了有效工具,有望推动环境科学、流行病学、经济学等领域的研究进展。TTCD的端到端特性和对非平稳数据的适应能力使其具有广泛的应用前景。目前,该论文已公开在arXiv上,并提供PDF全文供研究者参考。