文学翻訳においては、目標言語での流暢さと原典への忠実さのバランスが常に求められてきた。近年の大規模言語モデル（LLM）は流暢な翻訳を生成することで知られているが、文学テキストにおいてその流暢さが意味の正確な保存と一致するかどうかは明らかではなかった。Sarah Griebel氏らの研究チームは、大規模なデータセットを用いてこの関係を調査した。
研究では、16の原言語からなる106の小説から抽出された130,486の翻訳パラグラフが使用された。翻訳の種類は、人間翻訳、Google翻訳、そしてTranslateGemma翻訳である。流暢さの測定には、パラグラフの品詞n-gramに基づいて訓練された「翻訳ese分類器」が用いられ、翻訳文が目標言語の原文にどの程度似ているかが評価された。一方、忠実さは自動翻訳評価指標COMET-KIWIによって測定され、原文の意味がどの程度保持されているかが評価された。
パラグラフの長さを制御した上で分析を行った結果、流暢さと忠実さの間には一貫した負の相関が見られた。つまり、文学翻訳において流暢さを追求すると、原文への忠実さが損なわれる傾向があることを示している。このパターンは人間翻訳とGoogle翻訳の両方で明確に確認されたが、TranslateGemmaでは相関が弱く、統計的に有意でない場合が多かった。
さらに、パラグラフの長さが自動評価結果に影響を与えることも明らかになった。この発見は、文学翻訳の実践だけでなく、機械翻訳システムの評価方法にも重要な示唆を与える。研究はNLP4DH 2026会議で採択されており、翻訳評価の改善に貢献することが期待される。