マルチモーダル大規模言語モデル（MLLM）は画像分析において目覚ましい能力を示しているが、その能力を少数ショット画像分類に転用することは依然として困難である。この課題に取り組むため、Yunhan Wangら6名の著者は2026年6月30日にarXivに提出した論文で、DeCoDeと呼ばれるシンプルかつ効果的な手法を提案した。これにより、既製のMLLMを追加訓練なしで強力な少数ショット分類器として機能させることができる。
この手法の中心的なアイデアは、少数ショット分類を一連のペア画像比較として捉えることである。具体的には、クエリ画像と候補クラスに属するサポート画像が与えられると、モデルは2つの画像が同じクラスを表しているかどうかを判断するよう促される。次に、肯定応答に対応するロジットが類似度スコアとして使用され、クエリ画像が最も可能性の高いクラスに割り当てられる。この分解戦略により、多クラス分類問題が複数の二値決定に変換され、MLLMが本来持つ比較能力が最大限に活用される。
さらに研究では、データドメインなどの高レベルの情報をプロンプトに含めてモデルに提供することで、性能が向上することが示されている。これは、モデルが文脈的な手がかりを得ることで判断能力をより十分に発揮できることを示唆している。
手法の有効性を検証するため、著者らは12のデータセットで広範な評価を実施した。これには6つの既存の少数ショットベンチマークと、多様なドメインをカバーする6つの新規に構築された少数ショットベンチマークが含まれる。実験では様々な推論バリアントについて詳細な分析が行われた。その結果、このシンプルな分解手法が既製のMLLMを強力な少数ショット学習者に変え、標準ドメインと新規ドメインの両方で現在の最先端少数ショット手法を大幅に上回ることが示された。
本論文はコンピュータビジョンとパターン認識（cs.CV）に分類され、コードはGitHub（https://github.com/yunhanwang1105/DeCoDe）で公開されている。この研究は、訓練なしで効率的な少数ショット分類を実現する新たな方向性を提示し、MLLMが暗黙の少数ショット学習者として持つ可能性を明らかにしている。