跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

同一把尺子:在Tuebingen数据集上对双变量因果方向进行同手重评估,并引入无参数压缩基线

文章摘要

该论文主张,已发表的因果方向准确率因协议不同而不可比。作者在相同的102对Tuebingen数据上严格重跑了多种方法,不调参且强制决策。结果显示,一个零参数的压缩基线达到74.7%加权准确率,与最强方法(SLOPE的77.2%)在统计上无显著差异。论文还追溯了RECI的77.5%引用错误,并揭示了SLOPE的82.4%是决定子集上的数字。

来源arXiv Machine Learning作者: Wietse Stienstra
同一把尺子:在Tuebingen数据集上对双变量因果方向进行同手重评估,并引入无参数压缩基线
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在因果推断领域,Tuebingen因果-效应对数据集长期被用作评估双变量因果方向识别方法的基准。然而,不同论文所报告的“头部准确率”往往是在各自作者设定的协议下测得的——使用的数据对子集不同、加权方式不同、模型选择策略不同,甚至是否强制对每一对数据做出决策也不一致。这种状况使得跨论文的准确率比较犹如用不同的尺子丈量同一物体,结论自然不可靠。

针对这一问题,一篇新论文提出了“同手重评估”的思路:由同一研究团队在完全相同的102对Tuebingen数据上运行所有被比较的方法,并施加一条严格规则——不允许任何调参,且必须对每一对数据强制给出因果方向判断。为了提供一个干净的参照点,作者刻意设计了一个极简基线:排序条件压缩法。该方法将数据进行量化、排序和一阶差分后,直接喂给现成的压缩器bz2,整个流程没有任何拟合参数。

在统一尺子下,方法排名与文献中的印象大相径庭。这个零参数基线取得了74.7%的加权准确率(p = 3.7e-7)。在SLOPE所评估的同样100对数据上,基线得分为76.0%,仅比作者自己强制决策版本的SLOPE(77.2%)低1.2个百分点,且这一差距完全在噪声范围内(McNemar检验p = 0.39)。换言之,一个没有任何可训练参数的压缩方法,与当前最强方法之一在统计上难以区分。

论文还澄清了几个广泛流传的数字。对RECI的忠实重跑得到70.7%的准确率,这落在原作者报告的误差棒内,而不是常被引用的77.5%——作者追溯发现后者源于一个单元格的复制错误。SLOPE发表的82.4%则是一个“决定子集”上的数字:仅在其显著性检验选择回答的那些数据对上评分,可以复现81.7%;但一旦强制对所有数据对做出决策,准确率便降至77.2%。

作者进一步记录了导致已发表数字虚高的机制:一是在测试集上进行模型选择,二是通过显著性检验来“选择性弃权”。这两种做法都会系统性地抬高报告准确率。在统一尺子下,所有方法实际上都聚集在70%出头的区间,而零参数压缩器与其中最强的方法并驾齐驱。

除了重评估,论文还贡献了两个额外结果。首先,压缩分数的幅度本身可以作为一个无模型的混杂标志,统计显著性极高(p = 2.8e-68)。其次,一个预注册的证伪测试以颇具启发性的方式失败了,这一失败为该方法的理论解释划定了边界。作者发布了代码、预注册方案以及每一对数据的输出,以支持可重复性。

这项工作的意义在于,它提醒社区:在比较因果发现方法时,必须严格控制评估协议。一个零参数的压缩基线就能匹敌精心设计的方法,说明当前基准上的许多“进步”可能被协议差异所掩盖。同时,压缩分数作为混杂标志的发现,为无需模型假设的因果分析提供了新工具。

展开要点与分析

文章情报

投资人进阶

要点

  • 同手重评估显示,现有方法在统一规则下聚集在70%出头,零参数压缩基线达到74.7%并与最强方法持平。
  • SLOPE发表的82.4%仅在显著性检验选择的子集上成立,完整重跑为77.2%,与基线差距在噪声范围内。
  • RECI的常见引用77.5%源于复制错误,忠实重跑为70.7%,落在原作者报告的误差棒内。
  • 压缩分数幅度可作为无模型混杂标志(p=2.8e-68),且预注册的证伪测试以有启发的方式失败。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。