什么是好作品？从大语言模型推理轨迹中提取和测试文学质量的隐含理论
本研究通过两个实验探讨了具备推理能力的大语言模型如何评估文学质量。实验一使用30篇涵盖六个质量等级的真实文本构建基准，提取模型的隐含质量理论，发现其重视意图性、技巧、深度和独特声音，而非正确性。实验二通过对五篇经典散文进行系统降级处理，发现词汇简化对质量影响最小，而结构和声音的损失最大。研究结果表明，大语言模型对写作质量的判断是整体性的、与作者相关的，且对结构特征比词汇特征更敏感，对自动写作反馈和计算美学具有启示意义。
什么才是好的文学作品？这一直是文学研究和计算语言学领域的一个核心问题。近日，一篇发表于arXiv的论文《What is Good? Extracting and Testing Implicit Theories of Literary Quality from LLM Reasoning Traces》通过两项系统性研究，探索了具备推理能力的大语言模型（LLM）如何评估文学质量，并揭示了其背后的隐含理论。
在第一项研究中，研究人员构建了一个包含30篇真实文本的基准数据集，这些文本涵盖了从经典文学作品到匿名论坛帖子的六个质量等级。他们利用DeepSeek模型，通过分析模型的推理轨迹来提取其对于文学质量的隐含评估标准。在五次重复实验中，模型达到了79.3%的平均等级分类准确率，表现出一致且明确的评估倾向。推理轨迹显示，模型更看重写作的意图性而非单纯的语言正确性，优先考虑技巧、深度和独特的声音。此外，研究人员还进行了一项熟悉度实验，使用风格匹配但难以直接识别的段落来测试源文本识别对评分的影响。结果发现，源文本的识别可能会使评分虚高，但这一现象与经典原作和研究者模仿之作之间的真实质量差异相互交织，难以完全分离。
第二项研究则进一步检验了这一隐含理论。研究人员选取了五篇经典散文段落，对它们进行了系统的降级处理，具体包括六种操作：词汇简化、节奏扁平化、意象移除、声音泛化、结构简化以及综合降级。在每种操作后，重新评估修改后版本的文学质量。实验结果显示，词汇简化对质量的影响最小，仅导致0.41分的损失（标准差0.46分），而结构简化（2.78分）和声音泛化（2.34分）则造成了更大的质量下降。综合降级的效果最为显著，导致质量评分下降5.64分，但这种影响呈现出亚加性，即综合降级的损失小于单独降级损失的简单相加。与Qwen QwQ模型的初步比较也显示了类似的定性模式。
综合两项研究，作者认为基于大语言模型的写作质量判断表现出整体性和作者特异性，并且对结构特征的敏感度高于对词汇特征的敏感度。这些发现对于实际应用具有重要意义，特别是自动写作反馈系统和计算美学领域，因为它们揭示了模型评估时真正关注的核心要素，有助于设计更有效的反馈机制和内容生成工具。