例を示せ：画像セットからの視覚概念の推論
視覚言語モデル（VLM）は複雑なテキスト命令に従えるが、純粋な視覚コンテキストからの推論が苦手である。新たに導入されたVisual Concept Inference from Sets（VICIS）タスクはこの能力を評価する。著者らは、画像セットから概念固有の埋め込みを学習する訓練フレームワークとアーキテクチャを提案し、生成の精度と未見の概念やモダリティへの一般化を向上させる。
Apple機械学習研究チームは、新しい研究「Show Me Examples: Inferring Visual Concepts from Image Sets」を発表しました。この研究は、視覚言語モデル（VLM）がテキスト命令に従える一方で、画像のセットから共有概念を推論する能力に欠けることを指摘しています。そこで、Visual Concept Inference from Sets（VICIS）タスクを導入し、モデルがコンテキスト画像セットとクエリ画像に基づいて、コンテキスト定義の概念を保持しつつクエリと一致する新しい画像を生成する能力を評価します。
最先端のVLMはこのタスクで低い性能を示し、しばしば視覚コンテキストを無視したり、バイアスのかかった生成を行います。この問題に対処するため、著者らは画像セットから視覚概念を推論し、クエリから概念固有の埋め込みを抽出する訓練フレームワークとアーキテクチャを提案しました。合成データと大規模なImageNet/WordNetデータでの実験では、提案モデルがより正確で多様な出力を生成し、未見の概念やスケッチなどのモダリティにも一般化できることが示されています。
この研究は、LMU（ルートヴィヒ・マクシミリアン大学ミュンヘン）のNick Stracke氏、Kolja Bauer氏、AppleのJosh Susskind氏、Miguel Angel Bautista Martin氏、LMUのBjörn Ommer氏によって行われました。論文は2026年7月に公開され、この研究はVLMの視覚推論能力の向上に貢献するものです。今後の展開として、コードとデータセットの公開が期待されています。