基于大语言模型的科学同行评审：方法、基准与可靠性挑战

随着学术论文投稿量的持续增长，传统同行评审体系正面临前所未有的可扩展性挑战。为了应对这一困境，研究人员开始探索利用大语言模型（LLM）作为智能自动化评估助手。尽管已有研究表明，LLM能够生成流畅的评审意见并给出与人类评审者相近的评分，但它们在可靠性、鲁棒性和安全性方面的表现仍不足以支撑其作为决策支持系统的应用。

近日，一篇发表于arXiv的综述论文对基于LLM的科学同行评审进行了系统级分析，重点关注两项核心评估功能：评语生成与评分预测。该论文由Thi Huyen Nguyen和Zahra Ahmadi撰写，于2026年6月23日提交，论文编号为2606.25057。研究团队构建了一个结构化的建模方法分类体系，涵盖基于提示的方法、监督学习方法、检索增强方法和对齐优化方法，并综合了现有基准测试中的实证结果。

论文进一步分析了当前评估实践中的局限性，包括数据集约束、评估缺陷以及领域集中偏差。例如，现有数据集可能无法覆盖所有学科领域，导致模型在不同学术领域的泛化能力受限。此外，评估指标本身也可能存在偏差，从而影响对LLM性能的准确判断。

除了性能指标外，论文还识别出多种新兴鲁棒性风险，这些风险可能使自动化评审流程遭受策略性操纵。具体包括提示注入（对手通过构造恶意提示误导模型）、数据投毒（在训练数据中植入恶意样本）、检索漏洞（利用检索增强模块的弱点）和奖励破解（通过优化奖励函数来欺骗模型）。这些攻击手段可能导致评审结果被篡改，进而影响学术决策的公正性。

从数据挖掘的视角出发，论文概述了建模主观分歧和跨领域泛化等关键开放挑战。不同评审者之间可能存在显著的主观分歧，而LLM如何建模这种分歧仍是一个难题。同时，模型在跨领域应用时往往表现不佳，如何提升其泛化能力也是未来研究的重要方向。

该综述将自动化同行评审重新定义为一种高风险、多目标的决策问题，并在此基础上提出了开发鲁棒、透明且值得信赖的AI辅助科学评估系统的路线图。论文强调，未来的研究需要兼顾性能提升与安全性保障，以确保AI评审系统能够真正为学术社区所接受。