面向鲁棒上下文学习：利用分布外代理为不可访问目标进行演示检索

大型语言模型（LLM）在分布外（OOD）任务上表现出色，但随着分布偏移加剧，其优势逐渐减弱。研究人员尝试从可用源领域检索分布相似且信息丰富的演示（demonstrations）来增强LLM的推理能力。然而，在实际场景中目标领域往往不可访问，评估未知分布十分困难，进而影响演示选择质量。

为此，Hao Xu等人提出DOPA框架，创新性地引入OOD代理（proxy）来近似不可访问的目标领域，并指导演示检索过程。基于代理评估，DOPA进一步采用马氏距离（Mahalanobis distance）全局多样性约束，确保检索到的演示具有足够多样性。实验在多个LLM和任务上进行，结果表明DOPA有效增强了OOD设置下的鲁棒性。

DOPA的核心思想是：当目标域完全未知时，利用与目标域具有类似分布偏移特性的代理数据作为桥梁，从源域中挑选最相关的示范。同时，多样性约束避免了演示过于相似导致的信息冗余，提升了LLM的泛化能力。该工作在ACL 2026上被接收，代码已开源。

具体来说，DOPA框架首先从源领域收集候选演示集合，然后通过OOD代理对每个候选演示的分布相似性进行评估。代理数据的选择至关重要，它需要与目标域共享关键分布特征，从而作为有效桥梁。接着，DOPA引入基于马氏距离的全局多样性约束，在检索过程中不仅考虑单个演示与代理的相似度，还确保整体集合的多样性，避免多个高度相似的演示导致信息冗余。实验覆盖了多种LLM架构（如GPT、LLaMA等）和多种NLP任务（如文本分类、情感分析等），结果显示DOPA在多个OOD场景下显著优于现有方法，提升了模型在分布偏移下的推理准确性和稳定性。该研究的创新点在于首次将OOD代理概念引入演示检索领域，为解决目标域不可访问的实际问题提供了有效方案。