新たに公開された再現可能な研究で、著者のYuvraj Verma氏は、機械学習の分野で広く使われているISOT/Kaggleの「Fake and Real News」コーパスに対して率直な問いを投げかけている。このデータセットでしばしば報告される0.98を超える精度とF1スコアは、いったい何を測っているのか、という問いである。論文は透明なTF-IDFと線形分類器のパイプラインを「測定器」として用い、3つの漏洩チャネルと2つの分布シフト・プロトコルに沿ってコーパスを監査し、コードと導出した数値をすべて公開している。
第一の発見は、このベンチマークが部分的に退化しているという点だ。記事本文を完全に捨て、subjectメタデータのフィールドだけを分類器に与えると、F1は1.000に達する。2つのクラスのsubjectが互いに素であるため、モデルは主題ラベルを覚えるだけで完全分類を達成でき、ニュースの真偽判断とは無関係である。つまりこの設定での高スコアは、まずデータ分割の構造を反映している。
次に著者は3つの漏洩チャネルを順に除去する。subjectメタデータ、実記事の99.2%に現れる通信社の出所タグ、そしてナイーブなテスト分割の19.4%を汚染していた6,251件の重複文書である。意外なことに、これらをすべて取り除いてもF1の低下はわずか1.21ポイントで、0.9935から0.9814へ下がるにとどまった。著者は残存信号の正体をさらに検証し、それが「答えを漏らす」少数の語に集中しているのではなく、テキスト全体に拡散した編集スタイルであることを示す。重みの上位1,000個のユニグラムを削除しても、F1はなお0.926である。要するにモデルは事実確認の能力ではなく、書き方の癖を学んでいる。
第三の発見は、このスタイル信号が転移しないことを示す。トピックが重複しないプロトコルでは、平均適合率が0.9995から0.9475へ、実運用相当のF1が0.9905から0.8067へ低下し、事前分布を合わせた分析でも5.2ポイントの真の識別力損失が確認された。対照的に、時間方向の転移ではほとんど損失がない。脆弱性は時間的ドリフトよりも、話題分布の変化に由来する。
モデル容量も解決策にはならない。微調整したDistilBERTは分布内ではより強くF1は0.9993に達するが、トピック移動下でははるかに大きく劣化し、平均適合率を12.9ポイント失う。これは線形モデルの5.2ポイントの2倍以上である。さらに3つのモデルを独立ベンチマークLIARへ転移させると、順位付け能力はほぼランダム水準まで落ち、ROC-AUCは0.54から0.57の範囲にとどまり、多数クラス基線を上回るものは一つもなかった。
著者はここから、このコーパス内で得られるスコアはニュースの真偽ではなく、出所とトピックの分離可能性を定量化しているにすぎないと結論づける。モデル容量を増やすことは、このショートカットを回避するのではなく、むしろ活用することにつながる。論文は、メタデータのみの基線、小サンプルの基線、トピック非重複の基線を、今後の研究における低コストな診断手段として推奨している。論文は全17ページ、図11点、表11点で構成され、実験スクリプトと機械可読な結果はコードとともに公開されている。2026年7月26日にarXivへ投稿され、番号はarXiv:2609.25006、計算と言語（cs.CL）および機械学習（cs.LG）に分類されている。