反因果域泛化：利用無標籤數據
該論文研究域泛化問題，特別是在反因果設置下，其中結果導致觀察到的協變量。作者提出兩種方法，通過利用多環境中的無標籤數據來正則化模型對協變量均值和協方差變化的敏感性，並提供最壞情況下的最優性保證。在物理系統和生理信號數據集上展示了實證性能。
在機器學習領域，域泛化（Domain Generalization）旨在訓練出能夠適應新環境數據分佈變化的預測模型。傳統方法通常需要多個帶標籤的訓練環境，但在實際應用中，標籤數據往往稀缺。針對這一挑戰，蘋果公司與蘇黎世聯邦理工學院的研究人員聯合發表了一篇開創性論文，提出在反因果設置下利用無標籤數據進行域泛化。
反因果設置是指結果變量導致觀察到的協變量，這一結構在許多實際場景中普遍存在。例如，在醫療診斷中，疾病（結果）可能導致某些症狀（協變量）的出現。在這種結構下，環境擾動會影響協變量但不會傳播到結果，因此通過正則化模型對這些擾動的敏感性，可以提升泛化能力。關鍵的是，估計擾動方向不需要標籤，這使得研究人員能夠從多個環境中收集無標籤數據來訓練模型。
論文提出了兩種具體的正則化方法：第一種方法懲罰模型對協變量均值變化的敏感性，第二種方法懲罰模型對協變量協方差變化的敏感性。作者從理論上證明，在特定的環境類別下，這些方法能夠提供最壞情況下的最優性保證。此外，通過在受控物理系統（如模擬電路）和生理信號數據集（如心電圖）上的實驗，驗證了該方法的有效性。研究表明，即便是使用無標籤數據，也能顯著提升模型在新環境中的表現。
該論文已被2023年國際學習表徵會議（ICLR）的“可信機器學習在醫療健康中的應用”研討會接收。研究團隊包括蘋果公司的Sorawit Saengkyongam、Andrew C. Miller、Christina Heinze-Deml，以及蘇黎世聯邦理工學院的Jonas Peters、Nicolai Meinshausen，還有Juan L. Gamella。這項研究為在標籤稀缺條件下實現魯棒的域泛化提供了新思路，尤其對醫療健康等對模型可靠性要求極高的領域具有重要意義。未來，該方法有望擴展到更多反因果結構的實際應用中，推動機器學習在複雜環境中的部署。