研究人员提出了一种名为 DOPA 的演示搜索框架,用于在目标域不可访问的情况下提升大语言模型(LLM)的上下文学习鲁棒性。该论文题为《Toward Robust In-Context Learning: Leveraging Out-of-distribution Proxies for Target Inaccessible Demonstration Retrieval》,第一作者为 Hao Xu,另有 4 位合著者,提交于 2026 年 4 月 13 日,编号 arXiv:2606.00014,已被 ACL 2026 主会接收,主题涵盖计算与语言(cs.CL)以及人工智能(cs.AI)。作者在摘要中指出,尽管已有研究显示 LLM 能够在分布外(OOD)任务上取得不错表现,但随着分布偏移变得更加严重,这种优势往往会逐渐减弱。因此,研究者希望从可用的源域中检索出分布相近且信息量丰富的演示,以增强 LLM 的推理能力。然而在实际场景中,目标域往往无法访问,评估未知分布本身就很困难,这又会间接影响所选演示的质量。为解决这一问题,作者提出的 DOPA 框架引入一个 OOD 代理来近似不可访问的目标域,并用它指导检索过程。在基于代理的评估之上,DOPA 进一步引入基于马氏距离的全局多样性约束,以确保检索到的演示之间具有足够的多样性。实验在多个 LLM 和多种任务上进行,结果表明 DOPA 能够有效提升 OOD 环境下的鲁棒性。论文摘要同时给出了代码仓库链接。该工作于 2026 年 4 月 13 日星期一 10:22:52 UTC 提交,文件大小为 15,228 KB,提交者为 Rui Song。论文提供 PDF、实验性 HTML 版本以及 TeX 源码,并可通过 DOI 10.48550/arXiv.2606.00014 引用,DOI 由 DataCite 发放。文章被归类到 cs.CL 的 2026 年 6 月新提交列表,也可切换至 cs 与 cs.AI 分类浏览。
面向鲁棒的上下文学习:利用分布外代理检索目标不可访问的演示
文章摘要
本文提出DOPA框架,通过分布外代理近似不可访问的目标域,并引入基于马氏距离的全局多样性约束来指导演示检索,从而提升大语言模型在分布外场景下的鲁棒性。该工作被ACL 2026主会接收。
面向鲁棒的上下文学习:利用分布外代理检索目标不可访问的演示