在没有严格评估的情况下停止自动化同行评审

大型语言模型（LLMs）为解决同行评审危机提供了诱人的解决方案，但一篇被ICML 2026接收为亮点论文的立场论文《Stop Automating Peer Review Without Rigorous Evaluation》警告称，当前的人工智能系统不应被用于生成论文评审。该研究基于对ICLR 2026评审的人类与AI比较实验，以及自动改写对AI评审者影响的评估。研究团队对比了人类评审员和多个AI模型（如GPT-4等）在ICLR 2026评审中的表现，发现AI评审员之间的评分一致性远超人类评审员之间的平均水平，导致评审意见缺乏多样性。具体而言，AI评审者存在“蜂巢思维”效应——它们对同一篇论文及不同论文的评审意见过度一致，严重降低了观点的多样性。第二个关键问题是AI评审分数极易被操纵，即通过“论文洗白”——提示大型语言模型对论文进行语言风格上的改写即可显著提升AI评审者的评分。实验表明，仅通过修改论文的文体风格，AI评审员给出的评分平均提升了20%以上，而论文的科学内容并未改变。这凸显了AI评审系统易受风格变化影响的脆弱性。然而，作者指出，不可操纵性和评审多样性仅仅是自动化的必要条件，而非充分条件。他们呼吁，解决同行评审危机需要建立一门专门的“同行评审自动化科学”，而非在未经严格评估的情况下部署通用大语言模型。论文由Joachim Baumann、Jiaxin Pei、Sanmi Koyejo和Dirk Hovy共同撰写，已被机器学习顶级会议ICML 2026的位置论文轨道接收为亮点论文。该研究为AI在学术评审中的应用敲响了警钟，强调了在自动化之前进行彻底评估的重要性。