什麼是好作品？從大語言模型推理軌跡中提取和測試文學質量的隱含理論
本研究通過兩個實驗探討了具備推理能力的大語言模型如何評估文學質量。實驗一使用30篇涵蓋六個質量等級的真實文本構建基準，提取模型的隱含質量理論，發現其重視意圖性、技巧、深度和獨特聲音，而非正確性。實驗二通過對五篇經典散文進行系統降級處理，發現詞彙簡化對質量影響最小，而結構和聲音的損失最大。研究結果表明，大語言模型對寫作質量的判斷是整體性的、與作者相關的，且對結構特徵比詞彙特徵更敏感，對自動寫作反饋和計算美學具有啓示意義。
什麼才是好的文學作品？這一直是文學研究和計算語言學領域的一個核心問題。近日，一篇發表於arXiv的論文《What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces》通過兩項系統性研究，探索了具備推理能力的大語言模型（LLM）如何評估文學質量，並揭示了其背後的隱含理論。
在第一項研究中，研究人員構建了一個包含30篇真實文本的基準數據集，這些文本涵蓋了從經典文學作品到匿名論壇帖子的六個質量等級。他們利用DeepSeek模型，通過分析模型的推理軌跡來提取其對於文學質量的隱含評估標準。在五次重複實驗中，模型達到了79.3%的平均等級分類準確率，表現出一致且明確的評估傾向。推理軌跡顯示，模型更看重寫作的意圖性而非單純的語言正確性，優先考慮技巧、深度和獨特的聲音。此外，研究人員還進行了一項熟悉度實驗，使用風格匹配但難以直接識別的段落來測試源文本識別對評分的影響。結果發現，源文本的識別可能會使評分虛高，但這一現象與經典原作和研究者模仿之作之間的真實質量差異相互交織，難以完全分離。
第二項研究則進一步檢驗了這一隱含理論。研究人員選取了五篇經典散文段落，對它們進行了系統的降級處理，具體包括六種操作：詞彙簡化、節奏扁平化、意象移除、聲音泛化、結構簡化以及綜合降級。在每種操作後，重新評估修改後版本的文學質量。實驗結果顯示，詞彙簡化對質量的影響最小，僅導致0.41分的損失（標準差0.46分），而結構簡化（2.78分）和聲音泛化（2.34分）則造成了更大的質量下降。綜合降級的效果最為顯著，導致質量評分下降5.64分，但這種影響呈現出亞加性，即綜合降級的損失小於單獨降級損失的簡單相加。與Qwen QwQ模型的初步比較也顯示了類似的定性模式。
綜合兩項研究，作者認為基於大語言模型的寫作質量判斷表現出整體性和作者特異性，並且對結構特徵的敏感度高於對詞彙特徵的敏感度。這些發現對於實際應用具有重要意義，特別是自動寫作反饋系統和計算美學領域，因為它們揭示了模型評估時真正關注的核心要素，有助於設計更有效的反饋機制和內容生成工具。