2026年5月28日，一篇题为《评估ChatGPT在生物医学关联生成与验证中的协议：基于RAG的跨模型多数投票工作流》的论文提交至arXiv（编号2605.30400），作者为Ahmed Abdeen Hamed等两人。该论文属于计算与语言（cs.CL）领域，同时涉及信息检索等ACM分类，并已被STAR Protocols期刊（2026年第7卷）接收，相关DOI为10.1016/j.xpro.2026.104533。
论文的核心是提出一套系统化的协议，用于评估ChatGPT生成以疾病为中心的生物医学关联的能力。该协议详细规定了关联生成、生物实体验证和关联文献验证三个关键环节。在实体验证阶段，研究者利用生物医学本体（如基因本体、疾病本体等）对ChatGPT生成的生物实体进行标准化校验，确保其符合领域规范。在关联验证阶段，则通过检索生物医学文献来确认所生成关联的真实性。
为了评估生成可靠性，协议特别引入了自一致性策略。该策略通过让多个ChatGPT模型或同一模型多次生成结果并进行比较，来衡量生成内容的一致性程度。一致性越高，通常意味着生成结果越可靠；反之则可能暗示存在随机性或幻觉风险。这种跨模型比较有助于识别不同版本ChatGPT在生物医学知识生成上的稳定性差异。
然而，生物医学本体的精确匹配存在固有局限：许多生物实体在文本中的表述与本体中的标准术语并非完全一致，导致基于字符串匹配的验证方法失效。为此，论文提供了一个应用案例，展示如何通过检索增强生成（RAG）工作流实现语义验证。该工作流由开源大语言模型驱动，能够理解实体间的语义关系，而不仅仅依赖字面匹配。
RAG工作流的核心思想是让LLM基于检索到的外部知识来评估另一个LLM生成的内容。具体而言，系统首先从可信的生物医学知识库（如PubMed文献、本体数据库）中检索相关信息，然后将这些信息作为上下文提供给LLM，要求其判断待验证关联是否得到证据支持。这种方法不仅能够建立事实真相，还能有效暴露生成内容中的幻觉——即看似合理但缺乏依据的虚假关联。
该协议的意义在于为生物医学领域应用生成式AI提供了一套可操作的质量控制框架。随着ChatGPT等模型在科研辅助中的普及，如何确保其输出准确可靠成为关键挑战。通过结合本体验证、文献验证、自一致性检查和RAG语义验证，该协议能够多维度评估生成关联的可信度，为研究者、期刊审稿人和临床决策支持系统开发者提供实用工具。论文还强调，主稿件和补充材料同等重要，共同构成完整的方法学描述。
总体而言，这项工作展示了如何利用LLM生态自身的能力（如RAG和多数投票）来解决LLM生成内容的验证问题，形成了一种“以模治模”的闭环验证思路，为生物医学知识发现中的AI可靠性评估提供了新范式。