AIの解釈性と安全性の研究において、推論時にモデル表現を操作して予測を修正することは重要な技術である。しかし、既存の評価プロトコルは曖昧な言語モデリングタスクに限定されており、視覚モデルに対する体系的なベンチマークが欠けていた。このギャップを埋めるため、研究者らはSwordBenchを導入した。これは、複数のバックボーンと概念除去タスクにわたる視覚モデルの画像表現ステアリングを評価するための初のベンチマークスイートである。
SwordBenchは統一された評価フレームワークを提供するだけでなく、概念活性化ベクトルの直交化が実用的なステアリングに及ぼす二次的効果を明らかにする新しい評価概念を提案する。具体的には、概念間ロバスト性は、他の概念に対して直交化された入力間での概念検出性能の安定性を測定し、副次的損傷は、バイアスを持たない入力に対してステアリングが下流タスクのモデル性能に意図せず影響を与えるかどうかを定量化する。これらの指標は従来の精度評価を超え、ステアリング手法の実際の有効性をより包括的に反映する。
研究の結果、線形サポートベクターマシン（SVM）は分離性と直交性に優れているものの、副次的損傷をゼロにすることはできず、しばしばスパースオートエンコーダに劣ることがわかった。より単純な設定では、標準ベースライン法も最適化ベースの手法も完全なステアリングを達成できなかった。この結果は、現在の表現ステアリング技術、特に副次的損傷の低減と概念間ロバスト性の向上において改善の余地があることを示している。
本研究はVladimir Zaigrajewらによって行われ、論文は2026年5月10日に提出され、コードは近くGitHubで公開される予定である。SwordBenchの登場は、視覚モデルの解釈性と安全性研究に重要な評価ツールを提供し、より堅牢で安全なステアリング手法の発展を促進することが期待される。