強化学習による推論誘導型パーツレベル視覚グラウンディング
マルチモーダル大規模言語モデル（MLLM）は、物体全体のグラウンディングは得意ですが、クエリが物体ではなくパーツを指定する場合に苦戦します。本論文では、物体-パーツ階層リフレクティブグラウンディング（OP-HRG）を提案します。これは粗から細への推論誘導戦略で、まず親オブジェクトを特定し、次にその中のパーツを特定します。自己チェックで結果を検証し、予測クロップを再エンコードして修正領域を検査する拡張も行います。パーツ認識型GRPOフレームワークを導入し、段階的報酬でパイプラインを訓練します。4Bモデルは、PascalPart、PartImageNet、InstructPartにおいて7BグラウンディングLLMやSAM3を上回り、推論セグメンテーションにも転移できます。
マルチモーダル大規模言語モデル（MLLM）は、自由形式の言語クエリから物体全体を正確にグラウンディングできますが、クエリが「車の車輪」のように物体の一部を指定する場合、性能が低下します。これは、現在のモデルが物体とパーツの階層構造を欠いており、パーツの位置特定を物体と同じ単一ステップで行っているためです。この問題は、MLLMが部品と全体の関係を理解できないことに起因します。
本研究では、Object-Part Hierarchical Reflective Grounding（OP-HRG）を提案します。OP-HRGは、粗から細への推論誘導戦略を採用し、まず親オブジェクト（例：車）を特定し、その領域内で目的のパーツ（例：車輪）を特定します。この2段階プロセスは人間の認知パターンを模倣しており、階層的推論を効果的に導入します。
さらに、自己チェック機構を組み込み、結果を検証します。不正確な場合、予測クロップ領域を再エンコードして検査し、修正を行います。この反射的設計により、パーツグラウンディングの精度が向上します。自己チェックでは現在の位置特定の信頼度を評価し、閾値以下であれば再エンコードプロセスをトリガーします。
訓練には、パーツ認識型GRPO（Group Relative Policy Optimization）フレームワークを導入し、段階的報酬を用いてパイプライン全体を最適化します。段階的報酬は、物体位置特定、パーツ位置特定、自己チェック修正の各段階に対応し、モデルの各部分が協調して最適化されるようにします。
実験では、4BパラメータのモデルがPascalPart、PartImageNet、InstructPartの各ベンチマークで、7BパラメータのグラウンディングLLMやSAM3を上回る性能を示しました。例えば、PascalPartでは4Bモデルが7Bモデルより5ポイント高い精度を達成しました。また、推論セグメンテーションタスクへの転移も確認され、汎用性の高さが示されました。
本研究成果はECCV 2026で発表予定であり、パーツレベル視覚グラウンディングの新たな方向性を提供します。今後、研究チームはより複雑な階層構造の探索や、ロボット操作、医用画像解析などへの応用拡大を計画しています。