面向魯棒上下文學習：利用分佈外代理為不可訪問目標進行演示檢索

大型語言模型（LLM）在分佈外（OOD）任務上表現出色，但隨着分佈偏移加劇，其優勢逐漸減弱。研究人員嘗試從可用源領域檢索分佈相似且信息豐富的演示（demonstrations）來增強LLM的推理能力。然而，在實際場景中目標領域往往不可訪問，評估未知分佈十分困難，進而影響演示選擇質量。

為此，Hao Xu等人提出DOPA框架，創新性地引入OOD代理（proxy）來近似不可訪問的目標領域，並指導演示檢索過程。基於代理評估，DOPA進一步採用馬氏距離（Mahalanobis distance）全局多樣性約束，確保檢索到的演示具有足夠多樣性。實驗在多個LLM和任務上進行，結果表明DOPA有效增強了OOD設置下的魯棒性。

DOPA的核心思想是：當目標域完全未知時，利用與目標域具有類似分佈偏移特性的代理數據作為橋樑，從源域中挑選最相關的示範。同時，多樣性約束避免了演示過於相似導致的信息冗餘，提升了LLM的泛化能力。該工作在ACL 2026上被接收，代碼已開源。

具體來説，DOPA框架首先從源領域收集候選演示集合，然後通過OOD代理對每個候選演示的分佈相似性進行評估。代理數據的選擇至關重要，它需要與目標域共享關鍵分佈特徵，從而作為有效橋樑。接着，DOPA引入基於馬氏距離的全局多樣性約束，在檢索過程中不僅考慮單個演示與代理的相似度，還確保整體集合的多樣性，避免多個高度相似的演示導致信息冗餘。實驗覆蓋了多種LLM架構（如GPT、LLaMA等）和多種NLP任務（如文本分類、情感分析等），結果顯示DOPA在多個OOD場景下顯著優於現有方法，提升了模型在分佈偏移下的推理準確性和穩定性。該研究的創新點在於首次將OOD代理概念引入演示檢索領域，為解決目標域不可訪問的實際問題提供了有效方案。