跨領域零樣本或少樣本個性化是大型語言模型應用中的一個重要挑戰。其目標是僅憑目標對話領域中的少量互動記錄,就能在未見過的對話場景中生成符合使用者偏好的回覆。然而,現有方法在這一設定下面臨兩難:基於適配的方法在證據稀疏時難以校準更新幅度,容易過擬合;基於歷史遷移的方法又容易將使用者偏好與源領域特有痕跡糾纏在一起,導致不可靠的個性化先驗和負遷移。
針對這一問題,本文提出了一種名為 PAC-Bayes 正則化 Meta-LoRA 的方法。該方法利用元學習得到的 LoRA 初始化既作為適配的起點,也作為先驗中心,同時根據支援集大小和預測不確定性動態調整更新強度。這樣既能在證據稀少或語義模糊時限制過擬合,又能隨著證據增多逐步增強個性化效果。
但研究人員指出,僅僅控制適配強度並不能決定哪些偏好應該跨域遷移,以及這些偏好應該如何表達。因此,他們進一步將個性化先驗進行功能分解:把穩定的使用者偏好用人類可讀的提示詞來表示,把領域特有的隱空間調節用保持拓撲結構的軟令牌來實現。這種設計避免了源領域痕跡汙染,並提升了可解釋性和遷移性。
在多個基準和個性化任務上的實驗顯示,該方法一致地強於現有強基線。在 HiCUPID 資料集上,與最佳競爭基線相比,跨域勝率下降幅度減少了 47.9%;在未見過使用者的冷啟動場景下,勝率提高了 110.2%。
論文由 Xuefei Wang 等七位作者撰寫,於 2026 年 8 月 1 日提交至 arXiv,編號為 2608.12389,所屬學科為人工智慧(cs.AI),並獲得了 DataCite 分配的 DOI。這一工作為低資源個性化場景下的大模型適配提供了一種新的思路,也為後續在訓練與推理階段進一步解耦使用者與領域訊號的研究打下了基礎。