大型語言模型（LLM）在文本生成方面展現了驚人的能力，但在學術寫作等需要高度準確性的場景中，它們仍然容易產生幻覺——即生成看似流暢但事實錯誤的內容。一篇發表在arXiv上的新研究論文對此進行了系統調查，論文由Humam Khan、Md Tabrez Nafis、Shahab Saquib Sohail、Aqeel Khalique和Rehan Hasan Khan共同撰寫，於2026年5月5日提交。
研究人員選擇了四種主流LLM：ChatGPT（OpenAI）、Grok（xAI）、Gemini（Google）和Copilot（Microsoft），並設計了80個提示，涵蓋四種學術寫作任務：參考文獻生成、事實解釋、摘要生成和寫作改進。為了評估模型的輸出質量，他們制定了一個0-5分的評分標準，檢查事實準確性、參考文獻有效性、連貫性、風格一致性和學術語氣。此外，他們還引入了一個新的加權指標——幻覺指數（HI），用於量化每個模型響應的幻覺程度。該指數綜合了多種誤差因素，能夠更全面地反映模型在學術語境下的可靠性。
研究結果顯示，不同模型在不同任務上表現各異。Grok和Copilot在參考文獻生成任務上表現出色，但面對抽象或風格類提示時，它們往往力不從心，幻覺指數分別高達0.67和0.70（數值越高表示幻覺越嚴重）。相比之下，Gemini和ChatGPT在語氣控制上做得更好，但在事實性寫作任務上表現不佳，幻覺風險更高，幻覺指數分別為0.53和0.57。這表明，即使是先進的LLM，也無法在所有學術寫作任務中保持一致性。
值得注意的是，研究還發現，幻覺行為並非僅由模型架構決定，還受到任務型別和提示條件的顯著影響。這意味著，即使同一個模型，在不同情境下也可能表現出完全不同的可靠性。例如，模型對提示措辭的細微變化可能產生截然不同的輸出，這增加了實際應用的複雜性。研究團隊強調，現有的評估指標（如BLEU或ROUGE）往往無法捕捉到這些細微的錯誤，尤其是那些會改變語義或情感的錯誤。
研究建議，在學術寫作等高風險應用中，使用者應謹慎選擇模型，並根據具體任務調整提示策略。此外，未來研究可以探索任務特定的幻覺緩解技術，以及開發更全面的評估框架。該論文已被會議接收並展示，共6頁，包含4張圖和2張表，為LLM在學術領域的可靠使用提供了重要參考。