多模態大語言模型（MLLMs）在影像分析方面展現了卓越的能力，但如何將這些能力遷移到小樣本影像分類中仍是一個挑戰。近日，一篇由Yunhan Wang等人提交至arXiv的論文提出了DeCoDe技術，這一簡單而有效的方法無需任何額外訓練，即可將現成的MLLMs轉化為強大的小樣本分類器。
DeCoDe的核心思想是將小樣本分類任務分解為一組成對影像比較。對於每個查詢影像和候選類的支援影像，MLLM被提示判斷兩者是否屬於同一類別。正面回答對應的logit值被用作相似度分數，從而將查詢影像分配給最可能的類別。實驗表明，即使僅使用這一基本方法，也能取得良好效果。進一步地，向模型提供額外的高層資訊（如資料領域）可以顯著提升效能。
研究團隊在十二個資料集（包括六個已有基準和六個新構建的小樣本基準）上進行了廣泛評估，涵蓋了多個領域。結果表明，這種簡單的分解技術能夠將現成的MLLMs變成強大的小樣本學習者，在標準領域和新興領域均大幅超越了當前最先進的小樣本方法。論文程式碼已在GitHub上公開，為後續研究提供了便利。
DeCoDe的提出為小樣本影像分類領域帶來了新的思路。它利用MLLMs固有的語義理解能力，透過巧妙的任務分解避免了傳統方法中繁瑣的微調過程。研究者指出，該方法不僅適用於標準視覺任務，還能輕鬆擴充套件到醫學影像、衛星影像等專業領域，展現出強大的泛化能力。未來，他們計劃探索更復雜的比較策略和跨模態應用，進一步提升DeCoDe的適用性。