随着大语言模型生成的论文审稿意见日益普及，甚至已被主要学术会议正式试点，审稿流程中的公平性与可靠性问题正变得越来越紧迫。Hans Ole Hatzel等三位作者提交的论文《Review Arcade：论LLM审稿的人类对齐性与可博弈性》正是在这一背景下展开的实证研究，稿件于2026年5月27日提交至arXiv，标注为cs.AI与cs.MA方向，并注明正在EMNLP 26审稿中。
研究的基本前提是：不仅要假设审稿人可能借助LLM辅助评审，还要假设作者在投稿前也会使用LLM来修改论文。也就是说，评审与投稿两端都可能被同一类模型影响，这使得单纯讨论“LLM能否替代人类审稿”已不足以覆盖真实风险。
为此，作者选取2025年ACL Rolling Review（ARR）中的论文进行实验，分别从审稿人和作者两个视角评估LLM审稿的表现。在审稿人视角下，研究首先考察LLM意见与人类意见的一致性，结果发现二者对齐程度有限：即便在最好的情况下，对齐也只能算得上“合理”，远未达到可以放心替代人类判断的水平。更值得注意的是，这种对齐程度在不同提示词与不同模型之间波动显著，说明LLM审稿的质量高度依赖于具体配置，而非某种稳定的能力。
在作者视角下，研究进一步模拟了一种迭代的“草稿—修改”工作流：作者依据LLM给出的审稿意见反复修改投稿，再看分数是否改善。结果显示，这种针对LLM审稿的“博弈”在特定场景下确实有效，最多有35%的论文因此获得整体评分的统计显著提升。这一发现意味着，LLM审稿不仅可能判断不准，还可能被系统性地利用——作者只要针对模型偏好的方向调整论文，就能在不真正提升研究质量的情况下抬高分数。
两项发现合在一起，勾勒出一个值得警惕的循环：LLM审稿与人类判断并不完全一致，却又能被作者通过迭代修改加以迎合，从而在评审体系中制造出与实际学术价值脱节的分数信号。对于正在试点LLM审稿的会议而言，这意味着需要审慎设计使用方式，例如限制作者与审稿流程之间的模型互动、对提示词与模型选择进行标准化，以及监控分数提升是否来自实质改进。作者已公开代码（https://github.com/uhh-hcds/reviewarcade），便于社区复现与扩展相关实验。