手法は主張を裏付けるか？査読のための論文内検証
科学論文の増加に伴い、大規模言語モデル（LLM）を査読支援に活用する動きが進んでいる。既存の自動新規性評価は、論文の主張を既存文献と比較する手法が多いが、人間の査読者は、類似のアイデアが既にあるからではなく、手法の証拠が不十分なために新規性主張を疑問視することがある。本稿では、主張と手法の内部不一致に注目し、LLMを用いて新規性主張を抽出し、関連する手法の証拠を検索し、主張が手法によって裏付けられているかを評価する枠組みを提案する。評価基準は182件のICLR 2025論文の人間の査読から帰納的に導出された。実験では、生成された評価と人間の査読者の指摘が、特に新規性関連で高い一致を示した。
科学論文の投稿数が増加する中、大規模言語モデル（LLM）を査読支援に活用する動きが活発化している。しかし、既存の自動新規性評価の多くは、論文の主張を先行研究と比較することに焦点を当てており、論文内で主張が方法論的に適切に実現されているかという内部的一貫性はほとんど考慮されていない。人間の査読者は、既存研究との類似性よりも、提示された方法論的証拠が主張を十分に裏付けていないという理由で新規性を疑問視することが多い。このギャップに対処するため、本研究では論文内主張検証フレームワーク（intra-paper claim verification）を提案する。
このフレームワークは、まずLLMを用いて論文の序論から新規性主張を抽出する。次に、抽出された主張に関連する方法論的証拠（実験設定、モデルアーキテクチャ、データセット、評価指標など）を論文内から検索する。最後に、手法が主張を実証しているかを構造化された基準に基づいて評価する。評価基準は、182件のICLR 2025論文に対する実際の人間の査読コメントから帰納的に導出されたもので、新規性、方法論、明確さ、再現性など、査読者が繰り返し言及する側面を捉えている。これらの基準に従って、LLMは査読スタイルの構造化された評価を生成する。
実験では、ICLR 2025の採択論文と不採択論文をバランスよく含むサブセットを用いて、フレームワークが生成した査読コメントと実際の人間の査読コメントを比較した。人間による評価の結果、フレームワークの評価は、特に新規性関連の問題において人間の査読者の懸念と顕著に一致することが示された。さらに、BERTScoreを用いた分析では、対応する人間-LLMのレビューペアがランダムなペアと明確に区別され、フレームワークが人間の観察と一貫した懸念を捉えていることが確認された。
本研究は、LLMベースの査読システムにおいて、外部文献との比較だけでなく、論文内部の主張と方法の一貫性を検証することの重要性を明らかにした。このフレームワークは、将来的により包括的で信頼性の高い自動査読ツールの開発に貢献し、査読者の負担軽減と査読品質の向上につながることが期待される。