在因果推断领域,Tuebingen因果-效应对数据集长期被用作评估双变量因果方向识别方法的基准。然而,不同论文所报告的“头部准确率”往往是在各自作者设定的协议下测得的——使用的数据对子集不同、加权方式不同、模型选择策略不同,甚至是否强制对每一对数据做出决策也不一致。这种状况使得跨论文的准确率比较犹如用不同的尺子丈量同一物体,结论自然不可靠。
针对这一问题,一篇新论文提出了“同手重评估”的思路:由同一研究团队在完全相同的102对Tuebingen数据上运行所有被比较的方法,并施加一条严格规则——不允许任何调参,且必须对每一对数据强制给出因果方向判断。为了提供一个干净的参照点,作者刻意设计了一个极简基线:排序条件压缩法。该方法将数据进行量化、排序和一阶差分后,直接喂给现成的压缩器bz2,整个流程没有任何拟合参数。
在统一尺子下,方法排名与文献中的印象大相径庭。这个零参数基线取得了74.7%的加权准确率(p = 3.7e-7)。在SLOPE所评估的同样100对数据上,基线得分为76.0%,仅比作者自己强制决策版本的SLOPE(77.2%)低1.2个百分点,且这一差距完全在噪声范围内(McNemar检验p = 0.39)。换言之,一个没有任何可训练参数的压缩方法,与当前最强方法之一在统计上难以区分。
论文还澄清了几个广泛流传的数字。对RECI的忠实重跑得到70.7%的准确率,这落在原作者报告的误差棒内,而不是常被引用的77.5%——作者追溯发现后者源于一个单元格的复制错误。SLOPE发表的82.4%则是一个“决定子集”上的数字:仅在其显著性检验选择回答的那些数据对上评分,可以复现81.7%;但一旦强制对所有数据对做出决策,准确率便降至77.2%。
作者进一步记录了导致已发表数字虚高的机制:一是在测试集上进行模型选择,二是通过显著性检验来“选择性弃权”。这两种做法都会系统性地抬高报告准确率。在统一尺子下,所有方法实际上都聚集在70%出头的区间,而零参数压缩器与其中最强的方法并驾齐驱。
除了重评估,论文还贡献了两个额外结果。首先,压缩分数的幅度本身可以作为一个无模型的混杂标志,统计显著性极高(p = 2.8e-68)。其次,一个预注册的证伪测试以颇具启发性的方式失败了,这一失败为该方法的理论解释划定了边界。作者发布了代码、预注册方案以及每一对数据的输出,以支持可重复性。
这项工作的意义在于,它提醒社区:在比较因果发现方法时,必须严格控制评估协议。一个零参数的压缩基线就能匹敌精心设计的方法,说明当前基准上的许多“进步”可能被协议差异所掩盖。同时,压缩分数作为混杂标志的发现,为无需模型假设的因果分析提供了新工具。