ロバストなインコンテキスト学習に向けて: ターゲットがアクセス不可能な場合のデモンストレーション検索における分布外プロキシの活用

大規模言語モデル（LLM）は分布外（OOD）タスクで高い性能を示すが、分布シフトが大きくなるとその利点は減少する。研究者らは、利用可能なソース領域から分布的に類似し情報豊富なデモンストレーションを検索することでLLMの推論能力を向上させることを目指している。しかし、実際のシナリオではターゲット領域にアクセスできないことが多く、未知の分布を評価することが難しく、選択されるデモンストレーションの品質に影響を与える。

この問題に対処するため、Hao XuらはDOPAフレームワークを提案した。DOPAは、OODプロキシを導入してアクセス不可能なターゲット領域を近似し、検索プロセスをガイドする。さらに、プロキシベースの評価に加えて、マハラノビス距離に基づくグローバル多様性制約を導入し、検索されるデモンストレーションの十分な多様性を確保する。複数のLLMとタスクでの実験結果は、DOPAがOOD設定でのロバスト性を効果的に向上させることを示している。

本手法は、ターゲット領域が完全に未知の場合でも、類似した分布シフト特性を持つプロキシデータを橋渡しとして活用し、ソース領域から最も関連性の高いデモンストレーションを選択する。多様性制約により、デモンストレーションの類似性による情報冗長性を回避し、LLMの汎化能力を高める。本研究はACL 2026に採択され、コードは公開されている。

具体的には、DOPAはまずソース領域から候補となるデモンストレーションの集合を収集し、OODプロキシを用いて各候補の分布類似性を評価する。プロキシデータの選択は重要であり、ターゲット領域と主要な分布特徴を共有する必要がある。次に、DOPAはマハラノビス距離に基づくグローバル多様性制約を導入し、個々のデモンストレーションの類似度だけでなく、全体の集合の多様性も考慮する。実験は複数のLLMアーキテクチャ（GPT、LLaMAなど）と複数のNLPタスク（テキスト分類、感情分析など）をカバーし、DOPAは多くのOODシナリオで既存手法を大幅に上回り、分布シフト下での推論精度と安定性を向上させた。この研究の革新性は、OODプロキシの概念をデモンストレーション検索に初めて導入し、ターゲット領域にアクセスできない現実問題への有効な解決策を提供した点にある。