跨語言引導生成比喻語言
該研究探索了多語言大模型中比喻語言生成的內部信號是否跨語言可複用。通過激活引導,從一種語言的比喻-字面激活差異中估計方向並應用於生成。實驗證明這些方向在同語言內可靠引導,且可跨語言遷移,其中德語最易接受。多語言組合的方向可匹敵或超越目標語言自身方向。
近日,一篇題為《跨語言引導生成比喻語言》的研究論文提交至arXiv。該研究由Linfeng Liu等人完成,旨在探究多語言大語言模型中比喻語言生成的內部神經信號是否具有語言特異性,抑或能夠在不同語言之間通用。研究團隊採用激活引導(activation steering)技術作為探測手段,通過計算比喻表達與字面表達在模型內部激活狀態的差異,為每種比喻類別(如隱喻、明喻、擬人、誇張和反諷)估計出一個“引導方向”,並在文本生成過程中施加該方向以提升目標比喻的出現頻率。
實驗覆蓋了五種比喻類別、六種語言(英語、德語、法語、意大利語、西班牙語和中文)以及四種主流多語言大模型。結果顯示,在同一語言內部,這些引導方向能夠穩定地增強目標比喻類別的生成,尤其對隱喻和明喻效果最為顯著。更關鍵的是,這些方向展現出跨語言遷移能力:從一種語言(例如英語)中學到的引導方向,應用到另一種語言(例如德語)的生成時,同樣能有效提升該語言中相應比喻的使用率。其中,德語作為目標語言時對跨語言引導的接受度最高。
進一步分析表明,將來自多個其他語言的引導方向進行組合,其效果可以媲美甚至超過目標語言自身提取的引導方向。相反,如果從目標語言的引導方向中移除跨語言共享的成分,引導效果會明顯減弱。這一發現為多語言大模型中存在可複用但部分依賴目標語言的跨語言比喻生成信號提供了直接證據。
該研究不僅深化了我們對多語言模型內部工作機制的理解,也為未來開發更高效的跨語言自然語言生成任務開闢了新路徑。論文同時討論了該方法在機器翻譯、創意寫作以及教育等領域的潛在應用價值,展示了激活引導技術在控制模型輸出風格方面的廣闊前景。