ペルシャのことわざに基づくストーリー生成におけるLLMの制約付きセマンティックデコンプレッション
本研究では、抽象的なペルシャのことわざを道徳的に忠実な物語に変換することを「制約付きセマンティックデコンプレッション」タスクと位置づけ、ペルシャのことわざに基づくストーリー生成用データセットPANDを紹介する。ハイブリッド評価フレームワークにより、現在のLLMは流暢なテキストを生成できるものの、ことわざに埋め込まれた道徳的・因果構造を忠実に具現化できない「デコンプレッションギャップ」が明らかになった。明示的な推論と反復的な改良がこのギャップを部分的に緩和する。
抽象的なことわざに含まれる道徳的な物語を生成することは、深い文化的理解と堅牢な意味的基盤を必要とする課題である。最近のarXiv論文は、この問題を「制約付きセマンティックデコンプレッション」タスクとして定式化し、ペルシャのことわざを題材に、大規模言語モデル（LLM）の抽象から具体への実現能力を研究した。研究者らは、ペルシャのことわざ、人間が書いた対応する物語、および明示的な意味を組み合わせたデータセット「PAND」を構築した。人間が調整したLLM-as-a-Judgeと構造的メトリクスを組み合わせたハイブリッド評価フレームワークを用いて、複数のプロンプト方式でのモデル行動を分析した。
実験の結果、現在のLLMには持続的な「デコンプレッションギャップ」が存在することが明らかになった。モデルは表面的には流暢なストーリーを生成できるが、ことわざに埋め込まれた道徳的・因果構造を忠実に具現化できない。例えば、元の意味から逸脱した興味深いストーリーを生成することがある。しかし、明示的な推論と反復的な改良により、このギャップを部分的に緩和できることも示された。これは、デコンプレッションエラーの多くが、抽象的な意味を物語形式に変換する難しさに起因し、関連知識の完全な欠如によるものではないことを示唆している。このタスクは、ことわざ以外にも、慣用句、格言、寓言などの圧縮された文化的知識に自然に拡張できる。本論文の貢献は、新たな評価ベンチマークを定義し、文化に敏感なタスクにおけるLLMの性能向上の方向性を示したことにある。具体的には、ペルシャ文学と文化から収集された数百の一般的なことわざが使用され、各ことわざには母語話者によって書かれた道徳的な物語と明示的な意味説明が付随している。データセットの設計により、物語の道徳的忠実性と文化的正確性が保証されている。評価では、構造的指標（物語がことわざの重要な要素を含むかどうかなど）に加え、人間によって調整されたLLMを審査員として使用し、物語の道徳的忠実性を評価するハイブリッドフレームワークが採用された。実験では、直接生成、明示的推論チェーン、反復的改良を含む複数のプロンプト戦略が検討された。結果は、直接生成ではモデルがことわざの教えに反する物語を生成しがちであるが、明示的推論と反復的改良により道徳的忠実性が大幅に向上することを示している。この発見は、文化的に敏感なNLPシステムの開発にとって重要であり、将来の諺理解と生成の研究に新たなベンチマークを提供する。