大型语言模型（LLM）在文本生成方面展现了惊人的能力，但在学术写作等需要高度准确性的场景中，它们仍然容易产生幻觉——即生成看似流畅但事实错误的内容。一篇发表在arXiv上的新研究论文对此进行了系统调查，论文由Humam Khan、Md Tabrez Nafis、Shahab Saquib Sohail、Aqeel Khalique和Rehan Hasan Khan共同撰写，于2026年5月5日提交。
研究人员选择了四种主流LLM：ChatGPT（OpenAI）、Grok（xAI）、Gemini（Google）和Copilot（Microsoft），并设计了80个提示，涵盖四种学术写作任务：参考文献生成、事实解释、摘要生成和写作改进。为了评估模型的输出质量，他们制定了一个0-5分的评分标准，检查事实准确性、参考文献有效性、连贯性、风格一致性和学术语气。此外，他们还引入了一个新的加权指标——幻觉指数（HI），用于量化每个模型响应的幻觉程度。该指数综合了多种误差因素，能够更全面地反映模型在学术语境下的可靠性。
研究结果显示，不同模型在不同任务上表现各异。Grok和Copilot在参考文献生成任务上表现出色，但面对抽象或风格类提示时，它们往往力不从心，幻觉指数分别高达0.67和0.70（数值越高表示幻觉越严重）。相比之下，Gemini和ChatGPT在语气控制上做得更好，但在事实性写作任务上表现不佳，幻觉风险更高，幻觉指数分别为0.53和0.57。这表明，即使是先进的LLM，也无法在所有学术写作任务中保持一致性。
值得注意的是，研究还发现，幻觉行为并非仅由模型架构决定，还受到任务类型和提示条件的显著影响。这意味着，即使同一个模型，在不同情境下也可能表现出完全不同的可靠性。例如，模型对提示措辞的细微变化可能产生截然不同的输出，这增加了实际应用的复杂性。研究团队强调，现有的评估指标（如BLEU或ROUGE）往往无法捕捉到这些细微的错误，尤其是那些会改变语义或情感的错误。
研究建议，在学术写作等高风险应用中，用户应谨慎选择模型，并根据具体任务调整提示策略。此外，未来研究可以探索任务特定的幻觉缓解技术，以及开发更全面的评估框架。该论文已被会议接收并展示，共6页，包含4张图和2张表，为LLM在学术领域的可靠使用提供了重要参考。