視覺反事實解釋是人工智慧可解釋性領域的一個重要研究方向,它的目標是回答一個關鍵問題:“對這張影像進行最小改動,能否改變模型的預測?”這一任務在醫學影像診斷、自動駕駛等安全關鍵領域的應用日益廣泛,因為這些場景中模型的決策通常需要可驗證和可解釋,而反事實影像可以提供具體的“如果……會怎樣?”的假設分析。
現有的基於擴散模型的方法雖然能夠生成逼真的影像編輯,但它們往往依賴於外部訓練好的分類器來指導編輯過程。這些外部分類器必須在不同噪聲水平下的影像上保持穩健,這使得整個系統變得脆弱且難以在實際部署中提供可靠的解釋。問題的根源在於,分類器與生成模型是分離的,分類器需要精確處理噪聲影像,而擴散模型在取樣過程中又會產生噪聲,從而形成一種不穩定的依賴。
為了克服這一挑戰,由Yassine Oueslati等四位作者組成的團隊提出了C-VCE(Concept-based Visual Counterfactual Explanations),這是一種全新的擴散框架,其核心創新在於將分類器直接構建到生成模型內部,透過一個概念瓶頸層來實現。概念瓶頸層允許模型利用人類可解釋的語義特徵(例如“有鬍鬚”、“戴眼鏡”、“微笑”等)來引導反事實影像的生成,而不是依賴一個單獨的外部噪聲魯棒分類器進行畫素級編輯。這種設計從根本上消除了對額外分類器的依賴,使整個流程更加簡潔和穩定。
C-VCE的工作流程非常直觀:使用者在取樣過程中可以自由地開啟或關閉某些語義概念(例如從“微笑”切換到“不微笑”),模型隨後會僅對影像中與該概念相關的區域進行最小幅度的調整,同時保留影像的其餘部分,並尊重不同特徵之間的相關性(例如改變髮型時可能也會影響髮色等關聯屬性)。為了確保編輯足夠小且可控,研究人員引入了兩個關鍵元件:一個簡單的機率正則化器,用於在“改變預測”和“保持接近原始影像”之間取得平衡;以及一個基於梯度的掩碼,用於將修改限制在最相關的影像區域,防止對其他無關部分造成意外擾動。
在CelebA人臉資料集等基準測試上,C-VCE表現出了優異的效能。它能夠在達到相當甚至更高的預測翻轉率的同時,生成的反事實影像在視覺上更接近原始輸入,並且失真程度顯著低於那些依賴獨立噪聲影像分類器的基線方法。更重要的是,C-VCE生成的影像更加自然,避免了因外部分類器不穩定而導致的異常編輯。
這些特性使得C-VCE成為視覺系統領域一個非常實用的工具。使用者無需信任額外的噪聲魯棒分類器,即可直接透過操作高層語義概念獲取具體的反事實影像,從而對模型的決策邊界形成更直觀的理解。更廣泛來看,這項研究結果表明,暴露並控制生成模型的內部概念層是讓強大的深度生成模型變得更加可理解和安全的一個非常有前景的方向。該論文已被第四屆世界可解釋人工智慧大會(XAI 2026)接收,計劃於2026年正式發表。