大規模言語モデルに基づく科学的ピアレビュー：手法、ベンチマーク、信頼性の課題

学術論文の投稿数が急増する中、従来のピアレビューシステムはその拡張性の限界に直面しています。この課題に対処するため、研究者たちは大規模言語モデル（LLM）をインテリジェントな自動評価アシスタントとして活用する可能性を模索しています。近年の研究では、LLMが流暢なレビューコメントを生成し、人間のレビュアーと近似したスコアを出力できることが示されていますが、意思決定支援システムとしての信頼性、堅牢性、セキュリティについてはまだ十分に理解されていません。

このたびarXivに投稿されたサーベイ論文（ID: 2606.25057、著者：Thi Huyen Nguyen氏とZahra Ahmadi氏、2026年6月23日提出）は、LLMベースの科学的ピアレビューをシステムレベルで分析し、批評生成とスコア予測という二つの中核機能に焦点を当てています。研究チームは、プロンプトベース、教師あり学習、検索拡張、アライメント最適化という4つのアプローチからなる構造化された手法分類を提示し、既存のベンチマークにおける実証結果を統合しました。

論文はさらに、現在の評価実践を制限する要因として、データセットの制約、評価手法の欠点、そして特定の分野に偏ったデータ分布を分析しています。例えば、既存のデータセットはすべての学術分野をカバーしておらず、モデルの汎化能力が限定的であること、また評価指標自体にバイアスが含まれる可能性が指摘されています。

性能指標の分析に加えて、論文は自動レビューパイプラインを戦略的に操作する可能性のある新興の堅牢性リスクを特定しています。具体的には、プロンプトインジェクション（悪意のあるプロンプトでモデルを誤誘導）、データポイズニング（訓練データへの悪質なサンプルの混入）、検索脆弱性（検索拡張モジュールの弱点の悪用）、報酬ハッキング（報酬関数の最適化による欺瞞）などが挙げられます。これらの攻撃手法はレビュー結果を改ざんし、学術的意思決定の公正性を損なう恐れがあります。

データマイニングの観点からは、主観的な不一致のモデリングとクロスドメイン汎化という重要な未解決課題が概説されています。レビュアー間の主観的な評価の相違をLLMがどのようにモデル化するかは難しい問題であり、またモデルが異なる分野で十分に機能するようにするための汎化性能の向上も今後の研究課題です。

本サーベイは、自動ピアレビューをハイステークスな多目的決定問題として再定義し、その上で堅牢で透明性が高く、信頼できるAI支援科学評価システムを開発するためのロードマップを提供しています。論文は、性能向上と安全性確保の両立が将来の研究にとって重要であり、それによりAIレビューシステムが学術コミュニティに受け入れられるようになることを強調しています。