GH-ESD：インスタンスレベルの視覚タスクのための仮説駆動型エラースライス発見
GH-ESDは、物体検出やセグメンテーションなどのインスタンスレベルの視覚タスクに特化した新しいエラースライス発見フレームワークです。スライス発見を生成・検証プロセスとして再定義し、LLMの事前知識と視覚言語モデルを活用してインスタンスレベルの仮説スライスを発見し、統計的に検証します。実験では、新しいGESDベンチマークでベースラインを大幅に上回る結果を示しています。
Appleの機械学習研究チームは、インスタンスレベルの視覚タスクにおける系統的な障害を発見するための新しい手法「GH-ESD（Grounded Hypothesis-Driven Error Slice Discovery）」を発表しました。この研究はWei Zhang氏とChaoqun Wang氏が共同で主導し、2026年7月に公開されました。
コンピュータビジョンにおいて、エラースライス（error slice）とは、モデルが意味的に一貫したサブセットに対して示す系統的な失敗を指し、モデルのロバスト性や評価の限界を明らかにします。従来のスライス発見手法は、主に表現空間でのクラスタリングや事前定義された属性の組み合わせに依存しており、画像レベルの分類には有効ですが、物体検出やセグメンテーションのようなインスタンスレベルのタスクでは不十分です。これらのタスクでは、障害はしばしば文脈的な関係や空間的に接地された視覚パターンから生じるためです。
GH-ESDは「生成と検証」の枠組みを採用し、スライス発見を仮説生成と統計的検証として再定義します。具体的には、大規模言語モデル（LLM）の事前知識と接地された視覚的証拠を用いて関係性に基づく失敗仮説を構築し、視覚言語モデル（VLM）を介してインスタンスレベルの仮説スライスを発見し、最後に統計的傾向分析によって検証します。また、研究チームはGESD（Grounded Error Slice Dataset）という新しいベンチマークも導入しました。これには、検出およびセグメンテーションの失敗から専門家が定義した、空間的に接地されたエラースライスが含まれており、インスタンスレベルのスライス発見手法の評価を標準化します。
GESDベンチマークでの広範な実験により、GH-ESDは物体検出タスクにおいてPrecision@10を0.10向上させ（0.73対0.63）、一貫してベースラインを上回りました。この手法はセグメンテーションシナリオにも対応し、解釈可能なスライスを特定することで、モデルの改善に直接つながる実用的な洞察を提供します。この研究は、インスタンスレベルの視覚タスクにおける障害分析に新たな道を開き、よりロバストなモデルの開発を促進することが期待されます。