大規模言語モデル（LLM）はテキスト生成において驚くべき能力を示していますが、学術執筆のような高い正確性が求められる場面では、依然として幻覚（一見流暢だが事実と異なる内容を生成すること）を起こしやすいという問題があります。arXivに掲載された新しい研究論文（2026年5月5日提出、著者：Humam Khan、Md Tabrez Nafis、Shahab Saquib Sohail、Aqeel Khalique、Rehan Hasan Khan）では、この現象を体系的に調査しています。
研究者らは、ChatGPT（OpenAI）、Grok（xAI）、Gemini（Google）、Copilot（Microsoft）の4つの主要なLLMを選び、参考文献生成、事実説明、要約生成、文章改善の4カテゴリにわたる80のプロンプトを設計しました。モデルの出力を評価するために、事実の正確性、参考文献の妥当性、一貫性、スタイルの一貫性、学術的なトーンをチェックする0～5点の評価基準を作成し、さらに新しい加重指標である幻覚指数（HI）を導入して各モデルの応答における幻覚の程度を定量化しました。HIは複数の誤差要因を総合的に評価し、学術的な文脈におけるモデルの信頼性をより包括的に反映します。
結果は、モデルによってタスクごとの性能が異なることを示しました。GrokとCopilotは参考文献生成タスクで優れた成績を収めましたが、抽象的なプロンプトやスタイルに関するプロンプトでは苦戦し、HI値はそれぞれ0.67と0.70（値が高いほど幻覚が多い）でした。一方、GeminiとChatGPTはトーン制御に優れているものの、事実に基づくライティングタスクでは成績が悪く、幻覚リスクが高く、HI値はそれぞれ0.53と0.57でした。これは、最先端のLLMでさえ、すべての学術執筆タスクで一貫した性能を発揮できるわけではないことを示しています。
注目すべき点として、幻覚の振る舞いはモデルアーキテクチャだけでなく、タスクの種類やプロンプト条件にも大きく依存することがわかりました。つまり、同じモデルでも異なる状況では全く異なる信頼性を示す可能性があります。例えば、プロンプトの微妙な言い回しの変化が出力に大きな違いをもたらすことがあり、実際の応用を複雑にしています。研究チームは、既存の評価指標（BLEUやROUGEなど）はこうした微妙な誤り、特にセマンティクスや感情を変える誤りを捉えきれないことが多いと指摘しています。
研究は、学術執筆のようなリスクの高いアプリケーションでは、ユーザーがモデルを慎重に選択し、タスクに応じてプロンプト戦略を調整することを推奨しています。また、将来の研究では、タスク固有の幻覚軽減技術や、より包括的な評価フレームワークの開発が期待されます。本論文は6ページ、4つの図、2つの表を含み、会議で受理・発表されたものであり、LLMの学術分野での信頼性向上に重要な知見を提供しています。