反因果域泛化：利用无标签数据
该论文研究域泛化问题，特别是在反因果设置下，其中结果导致观察到的协变量。作者提出两种方法，通过利用多环境中的无标签数据来正则化模型对协变量均值和协方差变化的敏感性，并提供最坏情况下的最优性保证。在物理系统和生理信号数据集上展示了实证性能。
在机器学习领域，域泛化（Domain Generalization）旨在训练出能够适应新环境数据分布变化的预测模型。传统方法通常需要多个带标签的训练环境，但在实际应用中，标签数据往往稀缺。针对这一挑战，苹果公司与苏黎世联邦理工学院的研究人员联合发表了一篇开创性论文，提出在反因果设置下利用无标签数据进行域泛化。
反因果设置是指结果变量导致观察到的协变量，这一结构在许多实际场景中普遍存在。例如，在医疗诊断中，疾病（结果）可能导致某些症状（协变量）的出现。在这种结构下，环境扰动会影响协变量但不会传播到结果，因此通过正则化模型对这些扰动的敏感性，可以提升泛化能力。关键的是，估计扰动方向不需要标签，这使得研究人员能够从多个环境中收集无标签数据来训练模型。
论文提出了两种具体的正则化方法：第一种方法惩罚模型对协变量均值变化的敏感性，第二种方法惩罚模型对协变量协方差变化的敏感性。作者从理论上证明，在特定的环境类别下，这些方法能够提供最坏情况下的最优性保证。此外，通过在受控物理系统（如模拟电路）和生理信号数据集（如心电图）上的实验，验证了该方法的有效性。研究表明，即便是使用无标签数据，也能显著提升模型在新环境中的表现。
该论文已被2023年国际学习表征会议（ICLR）的“可信机器学习在医疗健康中的应用”研讨会接收。研究团队包括苹果公司的Sorawit Saengkyongam、Andrew C. Miller、Christina Heinze-Deml，以及苏黎世联邦理工学院的Jonas Peters、Nicolai Meinshausen，还有Juan L. Gamella。这项研究为在标签稀缺条件下实现鲁棒的域泛化提供了新思路，尤其对医疗健康等对模型可靠性要求极高的领域具有重要意义。未来，该方法有望扩展到更多反因果结构的实际应用中，推动机器学习在复杂环境中的部署。