近日,一篇題為《多語言知識編輯的大語言模型合併方法:一項實證探索》的論文在arXiv上釋出,系統研究了向量合併方法在多語言知識編輯(MKE)中的應用。論文指出,儘管定位-編輯方法在單語言環境下效果良好,但多語言場景中不同語言的知識編輯會產生相互干擾,使得MKE任務尤為困難。
研究團隊聚焦於三個核心問題:向量合併方法在MKE中的有效性、任務奇異向量合併(TSVM)減少多語言干擾的能力,以及權重縮放因子和秩壓縮比對效能的影響。他們基於MzsRE基準,在批次編輯場景下評估了六種合併變體,涵蓋了兩種流行的骨幹大語言模型、兩種基礎知識編輯方法以及12種語言。
實驗結果顯示,帶共享協方差的向量求和是整體上最可靠的策略,而簡單的求和(不共享協方差)表現不佳。TSVM能在部分設定中提升效能,但其緩解多語言干擾的能力有限。此外,效能對權重縮放因子和秩壓縮比高度敏感,較大的縮放因子和相對較低的秩往往帶來更好結果。
這些發現澄清了當前向量合併方法在MKE中的實際優勢與侷限,為未來多語言知識編輯研究提供了指導。論文作者包括Kunil Lee等三位研究人員,論文編號為arXiv:2605.13919,於2026年5月13日提交。該研究為多語言大模型的知識編輯提供了重要的實證基礎,有助於推動相關領域的發展。