文學翻譯一直面臨著在目標語言的流暢性與對源文本的忠實度之間取得平衡的挑戰。近年來，大型語言模型（LLM）在生成流暢翻譯方面表現出色，但在文學文本中，這種流暢性是否必然意味著語義的準確保留仍是一個未解之謎。一項由Sarah Griebel等人進行的新研究，透過大規模資料分析，深入探討了這一關係。
該研究利用了130,486段翻譯段落，這些段落來自106部不同語言的小說，涵蓋16種源語言。翻譯型別包括人工翻譯、Google翻譯以及TranslateGemma翻譯。研究團隊採用了一種基於段落詞性n-gram訓練的“翻譯ese分類器”來衡量流暢性，即翻譯文本與目標語言原創文本的相似程度；同時，使用自動翻譯評估指標COMET-KIWI來評估忠實度，即翻譯內容對原文語義的保留程度。
在控制段落長度這一變數後，研究人員發現了一個一致的模式：流暢性與忠實度之間存在顯著的負相關。這意味著，在文學翻譯中，追求更高的流暢性往往伴隨著對原文語義的某種犧牲。這一現象在人工翻譯和Google翻譯中均表現明顯，但在Google的TranslateGemma模型中，這種相關性較弱，且在許多情況下不顯著。
研究還指出，段落的長度對自動評估結果有重要影響。較長的段落可能在流暢性和忠實度上表現出不同的特性，因此在評估翻譯質量時需謹慎考慮這一因素。這些發現不僅對文學翻譯實踐具有指導意義，也為機器翻譯系統的評估提供了新的視角。該研究已被NLP4DH 2026會議接收，其成果有望推動翻譯評估方法的改進。