跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

反因果域泛化:利用无标签数据

文章摘要

本文研究反因果设置下的域泛化问题,其中结果导致观测到的协变量。作者提出两种方法,通过惩罚模型对跨环境协变量均值和协方差变化的敏感性,并利用无标签数据来估计扰动方向,从而在标签稀缺时实现稳健的域泛化,并提供了最坏情况下的最优性保证。

反因果域泛化:利用无标签数据
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文讨论的是域泛化(domain generalization)问题:目标是学习在部署到全新、此前未见的環境时仍能对分布偏移保持稳健的预测模型。现有的方法通常需要来自多个训练环境的标注数据,这在标注数据稀缺时限制了它们的适用性。在这项工作中,作者研究了反因果(anti-causal)设定下的域泛化,即结果(outcome)导致所观测的协变量(covariates)。在这种结构下,影响协变量的环境扰动不会传播到结果,这促使研究者对模型对这些扰动的敏感性进行正则化。关键在于,估计这些扰动方向并不需要标签,因此可以借助来自多个环境的无标注数据。作者提出了两种方法,分别惩罚模型对跨环境协变量均值变化和协方差变化的敏感性,并证明这些方法在特定环境类别下具有最坏情况最优性保证。最后,他们在受控物理系统和生理信号数据集上展示了该方法的实证表现。

论文作者包括 Sorawit Saengkyongam、Juan L. Gamella、Andrew C. Miller、Jonas Peters、Nicolai Meinshausen 和 Christina Heinze-Deml,其中部分作者隶属 Apple,部分隶属苏黎世联邦理工学院(ETH Zürich)。该论文于 2026 年 7 月发表。

研究背景方面,在分析分布偏移下的预测模型稳健性时,许多工作聚焦于处理虚假相关(spurious correlations)情形下的泛化问题。在这类情形中,人们通常利用协变量或环境指示变量来强制学习模型中的独立性,以保证稳健性。与此不同,本文关注的反因果结构意味着环境扰动作用于协变量,而非作用于结果,因此模型对协变量扰动的敏感性可以被正则化,而这种正则化不需要标签,从而能够利用无标注数据。

在方法论上,作者提出两种惩罚项:一种针对协变量均值在环境间的变化,另一种针对协变量协方差在环境间的变化。由于这些扰动方向可以在无标签条件下估计,方法能够扩展到标注稀缺的场景。作者还从理论上证明,在某些环境类别下,所提方法具备最坏情况最优性保证。

实证评估方面,作者在受控物理系统和生理信号数据集上验证了方法的性能,表明该思路在真实数据中具有实际效果。这项工作与健康领域的分布偏移稳健性研究相关,例如该团队此前在 ICLR 2023 的“Trustworthy Machine Learning for Healthcare Workshop”上被接收的论文《Considerations for Distribution Shift Robustness in Health》,以及 ICASSP 2023 上关于语音识别中说话人数量影响的研究《More Speaking or More Speakers?》。

展开要点与分析

文章情报

工程师进阶

要点

  • 在反因果设置中,环境扰动影响协变量但不影响结果,因此可以正则化模型对协变量变化的敏感性。
  • 估计扰动方向不需要标签,从而能够利用多个环境中的无标签数据。
  • 提出的两种方法分别惩罚模型对协变量均值和协方差变化的敏感性,并具有最坏情况最优性保证。
  • 在受控物理系统和生理信号数据集上的实验验证了方法的有效性。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。