大規模言語モデル（LLM）による論文レビューが広く普及し、主要な学会で公式な試験運用まで始まっている中、査読プロセスの公平性と信頼性への懸念が高まっている。Hans Ole Hatzel氏ら3名による論文「Review Arcade：LLMレビューの人間との整合性とゲーム可能性について」は、こうした状況を背景にした実証研究であり、2026年5月27日にarXivへ投稿され、cs.AIおよびcs.MAの分野に分類され、EMNLP 26で査読中であることが明記されている。
研究の前提として、査読者がLLMの支援を受けてレビューを行うだけでなく、著者も投稿前にLLMを使って論文を修正している可能性を想定する必要がある。つまり、査読側と投稿側の双方が同じ種類のモデルの影響を受ける可能性があり、「LLMが人間の査読者を代替できるか」という議論だけでは実際のリスクを捉えきれない。
そこで著者らは、2025年ACL Rolling Review（ARR）の論文を対象に実験を行い、査読者と著者という2つの視点からLLMレビューを評価した。査読者の視点では、まずLLMの意見と人間の意見の一致度を調べた結果、両者の整合性は限定的であることが分かった。最良の場合でも整合性は「妥当」な水準にとどまり、人間の判断を安心して代替できるレベルには程遠い。さらに、この整合性はプロンプトやモデルによって大きく変動し、LLMレビューの品質が特定の安定した能力ではなく、個別の設定に強く依存することを示している。
著者の視点では、LLMが出したレビューに従って投稿を繰り返し修正する「草稿→改稿」ワークフローをシミュレーションし、スコアが改善するかを検証した。その結果、こうしたLLMレビューへの「ゲーミング」は特定の状況で実際に有効であり、最大35%の論文で総合スコアが統計的に有意に上昇した。これは、LLMレビューが不正確なだけでなく、系統的に利用されうることを意味する。著者がモデルの好む方向に論文を調整するだけで、研究の質を実際に高めることなくスコアを引き上げられるのである。
この2つの知見を合わせると、警戒すべき循環が見えてくる。LLMレビューは人間の判断と完全には一致しないにもかかわらず、著者が反復改稿によってそれに迎合でき、結果として実際の学術的価値から乖離したスコア信号が査読システム内に生み出される。LLMレビューを試験導入している学会にとって、これは慎重な設計の必要性を意味する。たとえば、著者と査読プロセスの間のモデル相互作用を制限すること、プロンプトやモデルの選択を標準化すること、スコアの上昇が実質的な改善によるものかを監視することなどが考えられる。著者らはコード（https://github.com/uhh-hcds/reviewarcade）を公開しており、コミュニティによる再現や実験の拡張が可能となっている。