人工智能研究论文质量提升，却给科学家带来大问题

去年夏天，苏黎世大学可重复科学中心的博士后研究员彼得·德根接到导师的一个不寻常任务：他的一篇论文被引用过度了。这篇2017年发表的论文评估了流行病学数据中某种统计分析的准确性，多年来只获得几十次引用，但如今每隔几天就被引用一次，总数已达数百次，成为他职业生涯中被引用最多的论文之一。导师让他调查原因。

德根发现，这些引用论文都遵循类似模式：它们都在分析全球疾病负担研究——一个由华盛顿大学健康指标与评估研究所编制的公开数据集。但研究者们利用该数据集不断产出预测：20岁以上人群中风的概率、年轻人睾丸癌的风险、中国老年人跌倒的可能性、全谷物摄入不足者结直肠癌的发病率……如此种种。

在GitHub上搜索相关代码后，德根顺藤摸瓜找到了中国社交媒体网站Bilibili，发现广州一家公司兜售教程，宣称可在两小时内利用其软件工具和AI写作辅助制作出可发表的研究。这些研究质量堪忧——有学者分析其中关于头痛的子集后，发现错误和曲解比比皆是。但它们并不像早期AI生成论文那样明显荒谬，因此更难被筛选出来。

“这对本已不堪重负的同行评审系统是巨大的负担，”德根说，“发表的论文太多，评审者太少。如果大语言模型让批量生产论文变得如此容易，系统将达到临界点。”

尽管生成式AI的乐观者寄望其加速科学发现、消除癌症等，但目前该技术正冲击科研的支柱之一——编辑和评审者被无尽论文淹没。矛盾的是，AI技术越能生成合格的论文，危机就越严重。

过去十年，学术出版界一直在应对所谓“论文工厂”——批量生产论文并提供作者席位的地下公司。这是一场猫鼠游戏：出版商在科学侦探的帮助下堵上一个漏洞，工厂又找到新漏洞。生成式AI帮助工厂绕过剽窃检测器，但早期AI的幻觉使出版商理论上可以筛查。实际上，论文仍会漏网，直到侦探发现标注着“testtomcels”的巨型睾丸老鼠图，或残留着“作为AI助手”字样的文稿。

如今AI已能几乎独立撰写出令人信服的论文，使得急需发表的学者可以自己制造论文。结果是一股科学垃圾洪流，可能淹没出版、同行评审、资助和整个研究体系。

萨里大学健康与生物医学数据分析讲师兼《科学报告》副编辑马特·斯皮克首次注意到该现象是收到三篇分析美国国家健康与营养调查的极其相似的论文。他在谷歌学术上发现，引用该数据集并遵循同一模板的论文突然爆炸式增长，每篇都宣称发现某种关联，如吃核桃与认知功能、喝脱脂牛奶与抑郁症。

“只要有足够算力，你可以测量所有成对关联，最终找到没人写过的，然后发表：A和B之间存在关联。”斯皮克说，这些关联往往是误导性简化或统计巧合。例如，“受教育年限会导致术后疝气并发症——这是随机相关性，难道要我退学以免以后得疝气？”

多年来，侦探们开发出多种检测虚假论文的方法：寻找“扭曲词组”、追踪重复图像、作者网络分析、检查虚构引用等。斯皮克则寻找分析公共数据集的模板化论文。这些论文未必错误，但通常具有误导性，也不严格算欺诈，只是无用且变得极易制造。去年，多家期刊开始限制基于公共数据集的投稿，以应对冗余研究洪流。

斯皮克担心这些措施可能是在打上一场战争。最近AI公司发布了各种“智能体”科学助手，能够分析数据、提出假设并撰写论文。尽管可能是AI加速科学的步骤，但也带来新风险。卡内基梅隆大学的研究人员测试后，发现它们有时会捏造数据或使用误导性技术，但错误只有在分析完整工作流程时才明显，最终论文外观精美。

今年早些时候，OpenAI推出论文写作助手Prism。斯皮克和同事用已发表论文的数据测试：Prism分析了茄子辣椒成熟时间的数据，提出新统计方法，并撰写了包括图表和正确引用的完整论文，耗时25分50秒。斯皮克感叹：“我们都面面相觑：‘这居然是篇像样的作品！’”与以前不同，这篇没有模板，也没用单一知名数据库。

“我真的不确定何时我们会意识到，漏网的比预想的多，因为我们再也分不清了。”斯皮克说。他提出哲学问题：如果信息准确，论文由谁或什么撰写重要吗？科学应该发表每一个可能的事实吗？

“科学的一部分应该是过滤器。我们发表有趣的东西，而不是所有可能发现的东西。否则科学只是用数据垃圾邮件轰炸世界，中期内几乎无法区分哪些有意义。”

这是AI智能体带来的直接实际挑战。它们可能淹没创造和组织知识的人类系统。资助者面对大量针对性极强的申请书，无法辨别哪些是多年工作的延续，哪些是几分钟内生成的。会议组织者、期刊编辑和同行评审者都在努力筛选看似合理的材料。生产和审核所需时间的差距巨大且不断增长。

《安全对话》执行编辑玛里特·莫-普莱斯的投稿量同比翻了一番。更麻烦的是：所有投稿都变得相当不错。明显的幻觉和遗留提示消失了，所有文章都变得连贯、结构良好、风格相似，难以判断是完全生成的论文、经验丰富的学者还是用AI润色的年轻学者。

“我们目前面临的主要问题是，欺诈和学术的界限模糊了，变成一大片灰色地带。我们编辑必须坐下来琢磨：‘这是什么？需要处理吗？’”莫-普莱斯说。一篇论文通过了至少10名编辑和两轮同行评审，直到她注意到了一个虚假引用——非常逼真，涉及几位前编辑，主题他们可能写过但实际没有。她又发现了更多。她不知道幻觉是在哪个修订阶段引入的，但这次惊险事件突显了确保不发表假材料所需的谨慎。随着模型越来越能引用真实论文，她需要阅读引文是否是专家会使用的，因为AI尚未掌握经典文献与边缘工作的区别。

“这是极其细致的工作，本是编辑的常规。区别在于，现在你必须对涌入的所有垃圾都这么做。这就是为什么工作量变得不堪忍受。”

学术论文在发表前要经过多阶段审查：初步筛选、送到主编、副主编、再招募两名专家评审。编辑和评审者通常无偿工作。系统本就承受着投稿量增长的压力，现在AI既增加了数量，又提高了筛选难度。莫-普莱斯花更多时间分类论文，而评审者自己也被淹没，越来越不愿审稿。

“同行评审系统已经过时了，”论文工厂研究者伊丽莎白·比克说，“它最初是为另一个时代设计的，再也无法应对这种数量。如果要求专家审阅60页论文，每周三次，免费，系统会崩溃。我们已经看到裂缝。”

面对这些挑战，研究机构正探索新方法。一些期刊使用AI检测工具，但只部分有效。更激进的方案是改变出版模式，例如强制公开数据、使用结构化报告、或转向分布式分类系统。但斯皮克和莫-普莱斯表示，在更根本的解决方案出现之前，学术界将继续应对AI生成论文的浪潮。

“这不仅仅是技术问题，也是文化问题。”斯皮克说，“我们需要重申出版物中哪些东西有价值，而不仅仅是发表所有可能的内容。”