厳格な評価なしにピアレビューを自動化するのはやめよう

大規模言語モデル（LLM）は、査読危機に対処する魅力的な解決策を提供する。しかし、ICML 2026でスポットライト採択されたポジションペーパー「Stop Automating Peer Review Without Rigorous Evaluation」は、現在のAIシステムを論文レビューの生成に使用すべきではないと警告する。この研究は、ICLR 2026のレビューにおける人間とAIの比較実験と、自動書き換えがAIレビュアーに与える影響の評価に基づいている。実験では、複数のAIモデル（GPT-4など）と人間のレビュアーを比較し、AIレビュアー間の一致率が人間よりも著しく高いことが明らかになった。研究者らは2つの重大な問題を特定した：1）AIレビュアーは「ハイブマインド効果」を示し、同一論文内および論文間で過度に一致した意見を生成し、視点の多様性を低下させる。2）AIレビュースコアは「ペーパーランドリング」（論文の書き換え）によって容易に操作可能であり、LLMに論文を文体変更させるだけでスコアが平均20%以上上昇した。これは、AIレビュアーが科学的成果ではなくスタイルの変化に影響されやすいことを示している。しかし、非操作可能性とレビューの多様性は自動化の必要条件に過ぎない。著者らは、査読危機に対処するには、厳格な評価なしに汎用LLMを導入するのではなく、査読自動化の科学を確立する必要があると論じている。論文はJoachim Baumann、Jiaxin Pei、Sanmi Koyejo、Dirk Hovyにより執筆され、ICML 2026のポジションペーパートラックでスポットライト採択された。この研究は、学術査読におけるAI活用の前に徹底的な評価を求める重要な警鐘となっている。