跨语言引导生成比喻语言
该研究探索了多语言大模型中比喻语言生成的内部信号是否跨语言可复用。通过激活引导,从一种语言的比喻-字面激活差异中估计方向并应用于生成。实验证明这些方向在同语言内可靠引导,且可跨语言迁移,其中德语最易接受。多语言组合的方向可匹敌或超越目标语言自身方向。
近日,一篇题为《跨语言引导生成比喻语言》的研究论文提交至arXiv。该研究由Linfeng Liu等人完成,旨在探究多语言大语言模型中比喻语言生成的内部神经信号是否具有语言特异性,抑或能够在不同语言之间通用。研究团队采用激活引导(activation steering)技术作为探测手段,通过计算比喻表达与字面表达在模型内部激活状态的差异,为每种比喻类别(如隐喻、明喻、拟人、夸张和反讽)估计出一个“引导方向”,并在文本生成过程中施加该方向以提升目标比喻的出现频率。
实验覆盖了五种比喻类别、六种语言(英语、德语、法语、意大利语、西班牙语和中文)以及四种主流多语言大模型。结果显示,在同一语言内部,这些引导方向能够稳定地增强目标比喻类别的生成,尤其对隐喻和明喻效果最为显著。更关键的是,这些方向展现出跨语言迁移能力:从一种语言(例如英语)中学到的引导方向,应用到另一种语言(例如德语)的生成时,同样能有效提升该语言中相应比喻的使用率。其中,德语作为目标语言时对跨语言引导的接受度最高。
进一步分析表明,将来自多个其他语言的引导方向进行组合,其效果可以媲美甚至超过目标语言自身提取的引导方向。相反,如果从目标语言的引导方向中移除跨语言共享的成分,引导效果会明显减弱。这一发现为多语言大模型中存在可复用但部分依赖目标语言的跨语言比喻生成信号提供了直接证据。
该研究不仅深化了我们对多语言模型内部工作机制的理解,也为未来开发更高效的跨语言自然语言生成任务开辟了新路径。论文同时讨论了该方法在机器翻译、创意写作以及教育等领域的潜在应用价值,展示了激活引导技术在控制模型输出风格方面的广阔前景。