因果推論の分野では、Tuebingen因果効果ペアデータセットが二変量因果方向の識別手法を評価する基準として長く使われてきた。しかし、異なる論文が報告する「トップ精度」は、それぞれの著者が設定したプロトコルの下で測定されている——使用するペアのサブセット、重み付け、モデル選択、さらには各ペアに対して決定を強制するかどうかまで異なる。この状況では、論文間の精度比較は異なる物差しで同じ物体を測るようなものであり、結論は信頼できない。
この問題に対し、本論文は「同一条件での再評価」というアプローチを提案する。同一の研究チームが全く同じ102ペアのTuebingenデータ上で比較対象の全手法を実行し、厳格なルールを課す——一切のチューニングを禁止し、全ペアに対して因果方向の判断を強制する。クリーンな参照点として、著者らは意図的に最小限のベースラインを設計した。ソート条件付き圧縮法である。この手法はデータを量子化・ソート・一階差分した後、既製の圧縮器bz2に直接入力するもので、フィットするパラメータは一切ない。
統一された物差しの下では、手法のランキングは文献の印象と大きく異なる。このゼロパラメータベースラインは重み付き精度74.7%（p = 3.7e-7）を達成した。SLOPEが評価した同じ100ペアでは76.0%を記録し、著者自身による強制決定版SLOPE（77.2%）と比べて1.2ポイント低いだけであり、この差は完全にノイズの範囲内である（McNemar検定p = 0.39）。つまり、訓練可能なパラメータを一切持たない圧縮手法が、現時点で最強の手法の一つと統計的に区別できないのである。
論文はまた、広く流布しているいくつかの数値を明らかにしている。RECIの忠実な再実行では70.7%の精度が得られ、これは原著者らが報告した誤差範囲内に収まる。よく引用される77.5%ではない——著者らは後者がセルのコピー誤りに起因することを突き止めた。SLOPEの公表値82.4%は「決定サブセット」上の数値である。有意性検定が回答を選択したペアのみでスコアリングすると81.7%が再現されるが、全ペアに対して決定を強制すると77.2%に低下する。
著者らはさらに、公表値を膨らませるメカニズムを記録している。一つはテストセット上でのモデル選択、もう一つは有意性検定による「選択的棄権」である。これらの手法はいずれも報告精度を系統的に押し上げる。統一された物差しの下では、全手法が実際には70%台前半の範囲に集まり、ゼロパラメータ圧縮器がその中最強の手法と肩を並べる。
再評価に加えて、論文は二つの追加結果を提供する。第一に、圧縮スコアの大きさ自体がモデル不要の交絡フラグとして機能し、統計的有意性は極めて高い（p = 2.8e-68）。第二に、事前登録された反証テストが示唆的な形で失敗し、この失敗が手法の理論的解釈に境界を課す。著者らは再現性を支えるため、コード、事前登録、および各ペアの出力を公開している。
この研究の意義は、因果発見手法を比較する際に評価プロトコルを厳密に制御する必要があることをコミュニティに喚起する点にある。ゼロパラメータの圧縮ベースラインが精巧に設計された手法に匹敵するという事実は、現在のベンチマークにおける多くの「進歩」がプロトコルの差異によって覆い隠されている可能性を示唆している。同時に、圧縮スコアを交絡フラグとして利用できるという発見は、モデル仮定を必要としない因果分析の新たなツールを提供するものである。