研究發現AI小說因“愚蠢且糟糕”而易於檢測
馬里蘭大學與Google DeepMind的研究表明，AI生成的小說在敘事結構上存在明顯缺陷，如過度解釋主題、缺乏支線情節和生硬的說教，使其易於被檢測。研究人員開發了StoryScope檢測器，透過分析敘事特徵來區分人機寫作，並測試了多個AI模型。研究使用了爭議性的Books3資料集，但未公開發布。
近年來，人工智慧生成的小說數量激增，但其質量常常令人失望。馬里蘭大學與Google DeepMind的一項最新預印本研究證實，AI生成的小說在敘事結構上存在明顯漏洞，使其極易被檢測。研究團隊分析了超過5萬篇AI生成的短篇故事，發現AI作品普遍存在過度解釋主題、缺乏支線情節、生硬說教等問題。
研究團隊開發了一款名為StoryScope的檢測工具，與傳統方法不同，它不依賴詞彙標記（如濫用破折號或“delve”等詞），而是專注於分析敘事結構要素，包括情節發展、人物描寫、場景設定和時間結構。透過對比人類作品，該系統能準確識別AI生成文本。
研究揭示了不同AI模型的獨特“文風”：GPT傾向於大量使用夢境序列，Gemini預設採用外部人物描述，而Claude生成的事件發展則顯得異常平坦。AI對話中，59%服務於哲學辯論，而人類作品中僅為34%。此外，AI故事很少運用時間跳躍或倒敘，人物和場景數量也遠少於人類作品。
然而，該研究使用的資料來源——Books3資料集——存在版權爭議。該資料集包含18.3萬本盜版電子書，已被多起訴訟涉及。研究人員承認版權問題，並強調資料集僅用於學術目的，不向公眾釋出。值得注意的是，研究團隊在撰寫論文時也使用了AI輔助，包括Claude Code和Codex等編碼代理，這一做法得到了作者主動披露，旨在推動學術誠信。
研究作者之一Jenna Russell表示，這項工作的意義在於超越簡單的文本檢測，轉向識別“敘事特徵”差異。她認為，瞭解AI在敘事層面的固有缺陷，有助於教師和讀者判斷作品背後的創造力是否真正源於人類。