跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

通過 Meta-LoRA 學習跨域偏好適配,實現大語言模型個性化

文章摘要

這篇論文提出了一種用於大語言模型跨域零樣本/少樣本個性化推薦的 PAC-Bayes 正則化 Meta-LoRA 方法。它通過元學習的 LoRA 初始化作為起點和先驗中心,根據支持集大小和預測不確定性調整更新強度,從而避免稀疏證據下的過擬合,並將用户偏好與領域偏好功能分解。在多個基準上超過強基線,在 HiCUPID 上跨域勝率下降減少 47.9%,冷啓動勝率提升 110.2%。

來源arXiv AI作者: Xuefei Wang, Jun Han, Zixuan Wang, Qingkai Zeng, Xiao Wang, Ruijie Wang, Jianxin Li
通過 Meta-LoRA 學習跨域偏好適配,實現大語言模型個性化
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

跨領域零樣本或少樣本個性化是大型語言模型應用中的一個重要挑戰。其目標是僅憑目標對話領域中的少量交互記錄,就能在未見過的對話場景中生成符合用户偏好的回覆。然而,現有方法在這一設定下面臨兩難:基於適配的方法在證據稀疏時難以校準更新幅度,容易過擬合;基於歷史遷移的方法又容易將用户偏好與源領域特有痕跡糾纏在一起,導致不可靠的個性化先驗和負遷移。

針對這一問題,本文提出了一種名為 PAC-Bayes 正則化 Meta-LoRA 的方法。該方法利用元學習得到的 LoRA 初始化既作為適配的起點,也作為先驗中心,同時根據支持集大小和預測不確定性動態調整更新強度。這樣既能在證據稀少或語義模糊時限制過擬合,又能隨着證據增多逐步增強個性化效果。

但研究人員指出,僅僅控制適配強度並不能決定哪些偏好應該跨域遷移,以及這些偏好應該如何表達。因此,他們進一步將個性化先驗進行功能分解:把穩定的用户偏好用人類可讀的提示詞來表示,把領域特有的隱空間調節用保持拓撲結構的軟令牌來實現。這種設計避免了源領域痕跡污染,並提升了可解釋性和遷移性。

在多個基準和個性化任務上的實驗顯示,該方法一致地強於現有強基線。在 HiCUPID 數據集上,與最佳競爭基線相比,跨域勝率下降幅度減少了 47.9%;在未見過用户的冷啓動場景下,勝率提高了 110.2%。

論文由 Xuefei Wang 等七位作者撰寫,於 2026 年 8 月 1 日提交至 arXiv,編號為 2608.12389,所屬學科為人工智能(cs.AI),並獲得了 DataCite 分配的 DOI。這一工作為低資源個性化場景下的大模型適配提供了一種新的思路,也為後續在訓練與推理階段進一步解耦用户與領域信號的研究打下了基礎。

展開要點與分析

文章情報

工程師進階

要點

  • 提出 PAC-Bayes 正則化的 Meta-LoRA,解決跨域少樣本個性化中的過擬合和負遷移。
  • 通過元學習 LoRA 初始化與證據質量校準,在稀疏數據下限制過擬合,隨證據增加增強個性化。
  • 將個性化先驗分解為穩定用户偏好與領域特定隱空間調節,提升可解釋性與遷移性。
  • 在 HiCUPID 等基準上顯著優於強基線,冷啓動勝率提升 110.2%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。