Apple機器學習研究團隊近日發表了題為《GH-ESD: Grounded Hypothesis-Driven Error Slice Discovery for Instance-Level Vision Tasks》的研究論文，提出了一種針對實例級視覺任務的誤差切片發現新框架。該工作由Wei Zhang、Chaoqun Wang等人共同完成，於2026年7月正式發佈。
在計算機視覺領域，誤差切片（error slice）是指模型在語義一致的子集上表現出的系統性失敗，這些失敗揭示了模型在魯棒性和評估方面的侷限性。現有的切片發現方法通常將切片建模為表示空間中的聚類或預定義屬性的組合。雖然這些方法在圖像級分類任務中表現良好，但難以應對目標檢測、圖像分割等實例級任務。在這些任務中，失敗往往源於上下文關係（如物體間的交互）和空間定位模式，而非簡單的屬性組合。
為了解決這一挑戰，GH-ESD提出了一個“生成與驗證”框架。該框架將切片發現重新定義為基於假設的生成與統計驗證過程。具體來説，GH-ESD首先利用大語言模型（LLM）的先驗知識和空間化視覺證據，構建關係性失敗假設；然後藉助視覺語言模型（VLM）在實例級別發現假設切片；最後通過統計趨勢分析對切片進行驗證。此外，研究團隊還貢獻了一個新的基準數據集GESD（Grounded Error Slice Dataset），其中包含由專家定義的、空間化的檢測和分割失敗切片，為實例級切片發現提供了標準化的評估平台。
在GESD基準上的大量實驗表明，GH-ESD在目標檢測任務上一致優於現有基線方法，Precision@10從0.63提升至0.73，提升幅度達0.10。該方法同樣適用於分割場景，並能夠識別出可解釋的切片，從而直接指導模型的可操作改進。這一研究為實例級視覺任務的失敗分析提供了新的思路，有望推動更魯棒視覺模型的發展。