比喩表現生成のための言語横断的ステアリング
多言語大規模言語モデルにおける比喩表現生成の内部信号が言語固有か複数言語間で再利用可能かを調査。活性化ステアリングを用いて、ある言語での比喩-文字通りの活性化差から方向を推定し、生成時に適用。5つの比喩カテゴリ、6言語、4つの多言語LLMで実験し、同じ言語内では特にメタファーと直喩で信頼性高くステアリング可能。さらに、言語間で方向が転移し、ドイツ語が最も受容的。複数言語から組み合わせた方向はターゲット言語自身の方向に匹敵または凌駕し、共有成分を除去すると弱まる。
最近、arXivに投稿された論文「Cross-Lingual Steering for Figurative Language Generation」は、多言語大規模言語モデル（LLM）における比喩表現生成の内部信号が言語固有なのか、言語間で再利用可能なのかを調査した。Linfeng Liuらによるこの研究では、活性化ステアリング（activation steering）をプローブとして用い、ある言語での比喩表現と文字通り表現の活性化差から比喩カテゴリの方向を推定し、生成時に適用する手法を採用した。
実験は5つの比喩カテゴリ（メタファー、直喩、擬人法、誇張法、皮肉）、6言語（英語、ドイツ語、フランス語、イタリア語、スペイン語、中国語）、4つの多言語LLMにわたって行われた。結果、同じ言語内ではこれらの方向が信頼性高くステアリングでき、特にメタファーと直喩で顕著な効果が見られた。さらに重要なことに、これらの方向は言語間で転移することが判明した。ある言語（例：英語）で学習した方向を別の言語（例：ドイツ語）の生成に適用すると、その言語での比喩表現が増加した。
研究によれば、ドイツ語は跨言語ステアリングの標的として最も受容的であった。さらに、複数の他言語からの方向を組み合わせると、標的言語自身の方向に匹敵するか、それを上回る効果が得られた。逆に、標的言語の方向から言語横断的な共有成分を取り除くと、ステアリング効果が低下した。
これらの結果は、多言語LLMにおいて再利用可能だが標的言語に依存する跨言語的な比喩生成信号が存在することを直接的に示している。この研究は、多言語モデルの内部動作の理解を深め、将来的な跨言語生成タスクの効率化に貢献すると期待される。また、機械翻訳やクリエイティブライティング、教育分野への応用可能性についても議論されている。