Sem-Detect：基于语义层面的AI生成同行评审检测方法
如何区分一篇同行评审是由人类撰写还是AI生成？Sem-Detect方法通过结合文本特征与声明级语义分析，利用AI模型趋向于相似观点而人类评审更为多样化的观察，在ICLR和NeurIPS的2万余篇评审中，将二分类情况下的[email protected]% FPR提升了25.5%。在三类场景中，仅3.5%以下的人类精炼评审被误判为AI生成。
Sem-Detect：基于语义层面的AI生成同行评审检测方法
在学术出版领域，同行评审是确保研究质量的关键环节。然而，随着大型语言模型（LLM）的普及，如何区分一篇同行评审是由人类撰写还是由AI生成，成为了一个日益严峻的挑战。传统的检测方法主要依赖文本特征，但这种方法往往忽略了评审内容中的思想、判断和主张。为此，来自多所机构的研究人员提出了一种名为Sem-Detect的新方法，该方法将文本特征与声明级语义分析相结合，实现了对AI生成同行评审的高效检测。
Sem-Detect的核心思想在于，不同的AI模型在评审同一篇论文时，往往倾向于提出相似的观点和批评，而人类评审者则会引入更多独特、多样化的见解。基于这一观察，Sem-Detect将待检测的评审与同一篇论文的多篇AI生成评审进行比较，通过分析评审中出现的声明和主张的相似性来判断其来源。这种方法不仅能够识别完全由AI生成的评审，还能检测出那些经过LLM精炼但仍然反映人类判断的评审。
研究团队在来自ICLR和NeurIPS两大顶级会议的两万多篇同行评审上进行了实验。在二分类场景（区分完全AI生成与完全人类撰写）中，Sem-Detect在0.1%假阳性率（FPR）下的真阳性率（TPR）相比最强基线提升了25.5%。在三分类场景（区分完全AI生成、完全人类撰写以及LLM精炼的人类评审）中，实验表明，LLM精炼的人类评审仍然保留了人类独有的语义信号，与完全由AI生成的文本模式截然不同。因此，只有不到3.5%的LLM精炼人类评审被错误分类为AI生成。
Sem-Detect的提出为学术出版领域防范AI生成的虚假评审提供了有力工具。该方法不仅提高了检测精度，还揭示了AI与人类在评审风格上的根本差异。未来，这一技术有望被集成到学术会议和期刊的评审系统中，以维护同行评审的公正性和可信度。同时，研究人员也表示，随着AI模型的不断进化，检测方法也需要持续更新，以应对潜在的对抗性攻击。
该研究发表于arXiv预印本平台（arXiv:2605.21713），作者包括André V. Duarte等五位研究人员。论文详细描述了Sem-Detect的算法框架、实验设置和性能分析，并讨论了该方法的局限性和未来方向。