arXiv 于 2026 年 10 月 20 日（周二）17:48:59 UTC 收到 Michal Podstawski 提交的论文《Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?》（arXiv:2610.28714v1，分类 cs.LG，全文约 50 KB）。该研究针对的是文本属性图（text-attributed graphs，TAG）上的节点分类任务：近年来，基于大语言模型（LLM）的方法在这一任务上频频报告最先进（state-of-the-art）的准确率，但这些数字究竟能否经受住简单基线的检验，此前缺乏系统性的对照。作者的切入点非常直接——在同样的数据划分上，用廉价的基线方法与论文报告的 LLM 结果做同条件比较。
具体做法是：作者选取了三项近期研究的原始数据划分，用仅依赖验证集的选择方式（validation-only selection）调优四个代表性基线，并将它们与每篇论文在匹配设置下报告的 LLM 方法最高平均值进行对比。结果显示，基于 TF-IDF 特征的 Correct & Smooth 方法相对该参照值的中位数差距为 2.3 个百分点；而基于冻结的 e5-large-v2 嵌入训练的 MLP 则落后 2.8 个百分点。分任务来看，Correct & Smooth 在 24 个任务中有 15 个达到与参照值相差 3 个百分点以内或更好的水平；但在 22 个可检验任务中，参照方法在 12 个任务上显著更高。作者据此给出的判断是审慎而非否定的：部分报告的增益确实仍然可观，不能被简单基线解释掉。
除性能对比外，论文的第二部分工作是对已发布代码的审计。作者将开源实现与论文正文对照阅读，记录了几类评估风险：一是在测试集上选择超参数或检查点（checkpoint）；二是在训练中使用了测试池（test-pool）节点的标签；三是在未披露的情况下直接复用他人的基线数字；四是在已发布的 Cora 数据加载器中存在文本与标签错位（text-label misalignment）的问题。这些都属于会影响结论可信度的实现细节，而非纯粹的理论争议。
另一个值得注意的发现是跨论文的可复现性问题：同一方法在同一数据划分上的报告结果，在不同论文之间最多相差 12.5 个百分点，而这些论文的配置并未被记录为相互对齐。这意味着文献中部分差异可能来自配置不一致，而非方法本身的优劣。
总体而言，这篇论文并未宣称 LLM 方法毫无价值——作者明确承认若干增益在统计上依然显著——但它主张，在声称最先进之前，应当先在同一划分上跑通便宜的基线，并在发布代码时避免测试集泄漏与不披露的基线复用。论文提供了 PDF、实验性 HTML 版本和 TeX 源码，DOI 为 10.48550/arXiv.2610.28714（arXiv 已发放，DataCite 注册尚待完成）。