arXiv 於 2026 年 10 月 20 日（週二）17:48:59 UTC 收到 Michal Podstawski 提交的論文《Big Claims, Small Margins: Do Reported GraphLLM Gains Survive Simple Baselines?》（arXiv:2610.28714v1，分類 cs.LG，全文約 50 KB）。該研究針對的是文本屬性圖（text-attributed graphs，TAG）上的節點分類任務：近年來，基於大語言模型（LLM）的方法在這一任務上頻頻報告最先進（state-of-the-art）的準確率，但這些數字究竟能否經受住簡單基線的檢驗，此前缺乏系統性的對照。作者的切入點非常直接——在同樣的數據劃分上，用廉價的基線方法與論文報告的 LLM 結果做同條件比較。
具體做法是：作者選取了三項近期研究的原始數據劃分，用僅依賴驗證集的選擇方式（validation-only selection）調優四個代表性基線，並將它們與每篇論文在匹配設置下報告的 LLM 方法最高平均值進行對比。結果顯示，基於 TF-IDF 特徵的 Correct & Smooth 方法相對該參照值的中位數差距為 2.3 個百分點；而基於凍結的 e5-large-v2 嵌入訓練的 MLP 則落後 2.8 個百分點。分任務來看，Correct & Smooth 在 24 個任務中有 15 個達到與參照值相差 3 個百分點以內或更好的水平；但在 22 個可檢驗任務中，參照方法在 12 個任務上顯著更高。作者據此給出的判斷是審慎而非否定的：部分報告的增益確實仍然可觀，不能被簡單基線解釋掉。
除性能對比外，論文的第二部分工作是對已發佈代碼的審計。作者將開源實現與論文正文對照閲讀，記錄了幾類評估風險：一是在測試集上選擇超參數或檢查點（checkpoint）；二是在訓練中使用了測試池（test-pool）節點的標籤；三是在未披露的情況下直接複用他人的基線數字；四是在已發佈的 Cora 數據加載器中存在文本與標籤錯位（text-label misalignment）的問題。這些都屬於會影響結論可信度的實現細節，而非純粹的理論爭議。
另一個值得注意的發現是跨論文的可復現性問題：同一方法在同一數據劃分上的報告結果，在不同論文之間最多相差 12.5 個百分點，而這些論文的配置並未被記錄為相互對齊。這意味着文獻中部分差異可能來自配置不一致，而非方法本身的優劣。
總體而言，這篇論文並未宣稱 LLM 方法毫無價值——作者明確承認若干增益在統計上依然顯著——但它主張，在聲稱最先進之前，應當先在同一劃分上跑通便宜的基線，並在發佈代碼時避免測試集泄漏與不披露的基線複用。論文提供了 PDF、實驗性 HTML 版本和 TeX 源碼，DOI 為 10.48550/arXiv.2610.28714（arXiv 已發放，DataCite 註冊尚待完成）。