2026年10月20日（火）17:48:59 UTC、Michal Podstawski 氏による論文「Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?」（arXiv:2610.28714v1、cs.LG、全文約50KB）が arXiv に投稿された。本論文が扱うのは、テキスト属性付きグラフ（text-attributed graphs、TAG）上のノード分類タスクである。近年、大規模言語モデル（LLM）を用いた手法がこのタスクで最先端（state-of-the-art）の精度を繰り返し報告しているが、そうした数値が単純なベースラインに耐えうるのかどうかは、これまで体系的な検証が欠けていた。著者の出発点は明快で、同一のデータ分割上で安価なベースラインを走らせ、論文が報告する LLM の結果と同一条件で比較する、というものである。
具体的な手続きは次の通り。著者は最近の3件の研究が用いた元のデータ分割を採用し、検証集合のみに基づく選択（validation-only selection）で4つの代表的なベースラインを調整したうえで、各論文が対応する設定で報告する LLM ベース手法の最高平均値と比較した。結果として、TF-IDF 特徴量に基づく Correct & Smooth はこの参照値に対して中央値で2.3パーセントポイント下回り、凍結した e5-large-v2 埋め込み上で学習した MLP は2.8ポイント下回った。タスク別に見ると、Correct & Smooth は24タスク中15タスクで参照値との差が3ポイント以内またはそれ以上に達した。一方、検証可能な22タスクのうち12タスクでは参照手法が有意に高く、著者はこの結果を単純ベースラインでは説明しきれない相当な利得が一部に残ると慎重に解釈している。
性能比較に加え、論文の第二の貢献は公開コードの監査である。著者はオープンソース実装を論文本文と突き合わせて読み、評価上のリスクをいくつか記録した。第一にテスト集合上でのハイパーパラメータやチェックポイントの選択、第二に訓練におけるテストプール（test-pool）ノードのラベルの使用、第三に開示なしでの他者のベースライン数値の再利用、第四に公開された Cora データローダーにおけるテキストとラベルの不整合（text-label misalignment）である。これらはいずれも結論の信頼性に影響する実装上の詳細であり、純粋な理論上の論争ではない。
もう一つ注目すべき発見は論文間の再現性の問題である。同一手法・同一データ分割に対する報告結果が、異なる論文の間で最大12.5パーセントポイントも異なっており、しかもそれらの論文の設定は相互に一致していることが記録されていない。これは文献上の差異の一部が手法自体の優劣ではなく、設定の不一致に由来する可能性を示唆する。
全体として本論文は LLM 手法に価値がないと主張しているわけではない。著者自身、複数の利得が統計的に依然として有意であることを明示的に認めている。ただし、最先端を主張する前に同一分割で安価なベースラインを走らせること、そしてコード公開時にテスト集合のリークや未開示のベースライン再利用を避けることを求めている。論文は PDF、実験的な HTML 版、TeX ソースを提供しており、DOI は 10.48550/arXiv.2610.28714（arXiv による発行済み、DataCite への登録は保留中）。