近年來,AI模型的可解釋性和安全性成為研究熱點,其中在推理時對模型表示進行引導(steering)以糾正預測是一種關鍵方法。然而,現有的評估協議主要侷限於模糊的語言建模任務,缺乏對視覺模型影像表示引導的系統性評估。為了填補這一空白,研究者提出了SwordBench,一個專門用於評估視覺模型影像表示引導的基準測試。
SwordBench支援多種主幹網路(如ResNet、ViT等)和概念移除任務,提供了一個統一的評估套件,使得不同方法之間的比較更加公平和全面。更重要的是,它引入了兩個新的評估概念,用於揭示概念啟用向量正交化在實用引導中的二階效應:跨概念魯棒性(cross-concept robustness)衡量在對輸入進行其他概念正交化後,概念檢測效能的穩定性;附帶損害(collateral damage)則量化引導是否無意中影響模型在不含偏差輸入上的下游任務效能。這兩個指標共同提供了對引導方法更深入的洞察。
實驗結果表明,儘管線性支援向量機(SVM)在分離性和正交性上表現出色,但它無法實現零附帶損害,常常落後於稀疏自編碼器。在更簡單的場景中,標準基線和基於最佳化的方法都未能達到完美引導。研究團隊表示,相關原始碼將在GitHub上儘快公開,以促進該領域的進一步研究和發展。