2026年5月28日、arXivに「RAG対応クロスモデル多数決ワークフローを用いたChatGPTの生物医学的関連生成・検証評価プロトコル」と題する論文（番号2605.30400）が投稿された。著者はAhmed Abdeen Hamedら2名で、計算と言語（cs.CL）分野に属し、STAR Protocols誌（2026年、第7巻）に掲載予定である（DOI: 10.1016/j.xpro.2026.104533）。
本論文の中心は、ChatGPTが疾患を中心とした生物医学的関連を生成する能力を評価するための体系的なプロトコルの提案である。このプロトコルは、関連の生成、生物学的実体の検証、文献による関連の検証という3つの主要段階を詳細に規定している。実体検証では、遺伝子オントロジーや疾患オントロジーなどの生物医学オントロジーを用いて、ChatGPTが生成した生物学的実体を標準化し、領域の規約に適合しているかを確認する。関連検証では、生物医学文献を検索して生成された関連の真実性を確認する。
生成の信頼性を評価するため、プロトコルは自己一貫性戦略を導入している。これは、複数のChatGPTモデルまたは同一モデルで複数回生成を行い、その結果を比較することで一貫性の度合いを測定するものである。一貫性が高いほど生成結果は信頼できる傾向があり、低い場合はランダム性やハルシネーションのリスクを示唆する。このクロスモデル比較により、異なるバージョンのChatGPT間での生物医学知識生成の安定性の違いを特定できる。
しかし、生物医学オントロジーには完全一致の限界がある。テキスト中の生物学的実体の表現がオントロジーの標準用語と完全に一致しないことが多く、文字列マッチングに基づく検証方法では対応できない。そこで論文は、オープンソースの大規模言語モデル（LLM）を活用した検索拡張生成（RAG）ワークフローによる意味的検証のユースケースを提示する。このワークフローは、単なる字面的一致ではなく、実体間の意味的関係を理解できる。
RAGワークフローの核心は、あるLLMが生成したコンテンツを、別のLLMが検索した外部知識に基づいて評価することにある。具体的には、PubMedの文献やオントロジーデータベースなどの信頼できる生物医学知識源から関連情報を検索し、その情報をコンテキストとしてLLMに提供し、検証対象の関連が証拠に支持されるかどうかを判断させる。この方法により、事実の確立だけでなく、もっともらしいが根拠のない虚偽の関連、すなわちハルシネーションを効果的に暴露できる。
このプロトコルの意義は、生物医学領域における生成AIの応用に対して、実行可能な品質管理枠組みを提供することにある。ChatGPTなどのモデルが研究支援で普及するにつれ、その出力の正確性と信頼性を確保することが重要な課題となっている。オントロジー検証、文献検証、自己一貫性チェック、RAG意味的検証を組み合わせることで、生成された関連の信頼性を多次元で評価でき、研究者、査読者、臨床意思決定支援システムの開発者に実用的なツールを提供する。論文はまた、本文と補足資料が同等に重要であり、共に完全な方法論を構成することを強調している。
全体として、本研究はLLMエコシステム自身の能力（RAGや多数決など）を活用してLLM生成コンテンツの検証問題を解決する「モデルによるモデル統治」の閉ループ検証アプローチを示し、生物医学知識発見におけるAI信頼性評価の新たなパラダイムを提供するものである。