跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

反事实残差数据增强用于回归

文章摘要

研究者提出反事实残差数据增强(CRDA)技术,通过利用残差不变性生成新的训练样本,有效缓解回归任务中小样本和噪声问题。在多个基准数据集上,CRDA 平均将 MLP 回归器的 MSE 降低 22.9%,XGBoost 回归器的 MSE 降低 6.4%,优于现有数据增强方法。该工作被 ICML 2026 接收。

来源arXiv Machine Learning作者: Hossein Mohebbi, Oliver Schulte, Ke Li, Pascal Poupart
反事实残差数据增强用于回归
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为《Counterfactual Residual Data Augmentation for Regression》(面向回归任务的反事实残差数据增强)的论文在 arXiv 上发布,编号为 arXiv:2606.28460v1,属于机器学习(cs.LG)分类,并交叉列入人工智能(cs.AI)分类。该论文由 Hossein Mohebbi 等四位作者共同完成,投稿时间为 2026 年 6 月 26 日 13:04:37 UTC,全文共 25 页、包含 8 幅图。据论文注释显示,该工作已被第 43 届国际机器学习大会(ICML 2026)接收,作者同时提供了一个项目主页链接。论文的 DOI 为 https://doi.org/10.48550/arXiv.2606.28460,由 DataCite 发放,目前仍在注册中。

论文关注的现实痛点是:在实际场景中开展数据驱动的回归建模时,研究者往往面临训练样本有限、数据采集成本高昂以及观测噪声较大等问题。受计算机视觉与自然语言处理领域中数据增强技术所取得成效的启发,作者提出了一种名为“反事实残差数据增强”(Counterfactual Residual Data Augmentation,简称 CRDA)的新技术,专门面向表格型回归(tabular regression)任务。

该方法的核心洞见在于:当回归器已经对数据中的系统性成分完成建模之后,剩余部分可以被视为一种不变的残差。作者发现,在谨慎选取的特征发生小幅扰动时,这一残差能够保持相对稳定。正是利用这种残差不变性,CRDA 能够生成新的、同时仍然贴近真实分布的训练样本,从而在不额外收集真实数据的前提下有效扩充数据集。作者强调,该方法与具体模型无关(model-agnostic),可以方便地应用于各类回归器。

在实验部分,作者在来自多个基准数据仓库的数据集上进行了评估。结果显示,平均而言,CRDA 使 MLP 回归器的均方误差(MSE)降低了 22.9%,使 XGBoost 回归器的 MSE 降低了 6.4%。与现有的最先进数据生成器和数据增强技术相比,CRDA 在 MSE 降低方面始终表现更优。作者总结认为,通过向训练数据中加入有原则的反事实变体,该方法为噪声较多、样本量较小的回归场景提供了一种简单而高效的补救手段。

从研究定位来看,这项工作将数据增强的思路从视觉和语言领域迁移到表格回归领域,并借助“残差不变性”这一概念为合成样本的合理性提供依据,而不是简单地进行随机扰动。其模型无关特性也意味着该方法可以与不同类型的回归模型组合使用,具备较好的通用性。论文的提交历史显示目前仅有 v1 版本,后续若出现修订版本,可能会补充更多实验细节或方法说明。对于受限于数据规模与噪声问题的表格回归应用而言,CRDA 提供了一个值得关注的、低成本的训练数据扩充思路。

展开要点与分析

文章情报

研究者进阶

要点

  • CRDA 利用残差不变性生成新样本,无需额外真实数据
  • 在 MLP 和 XGBoost 回归器上分别降低 MSE 22.9% 和 6.4%
  • 方法模型无关,适用于多种回归器,并被 ICML 2026 接收

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。