SENTRY: ソフトエラー下におけるVision Transformerの統計的信頼性解析
本論文では、Vision Transformer（ViT）の信頼性を統計的に保証するフレームワークSENTRYを提案する。有限母集団サンプリング理論を活用し、数千サンプルのみで99%信頼水準で故障率を1%以内に抑え、実験コストを最大10,700倍削減する。調査により、FP32ビット反転のわずか3%が故障を引き起こすが、その大部分が壊滅的な精度低下をもたらし、脆弱性は正規化層とIEEE-754形式の重要な指数ビットに集中していることが明らかになった。
自律走行システムや医用画像診断などの安全クリティカルな領域でVision Transformer（ViT）の利用が急速に拡大している。しかし、これらのアプリケーションでは、宇宙線やノイズによるソフトエラー（一時的なビット反転）に対する信頼性が極めて重要である。ViTは高い精度を提供する一方、その膨大なパラメータ数（数百万から数十億）のため、すべてのパラメータに故障を注入する網羅的テストは実用的ではない。この問題を解決するために、SENTRY（Statistical Reliability Analysis of Vision Transformers）フレームワークが提案された。SENTRYは有限母集団サンプリング理論に基づく統計的故障注入手法であり、厳密な信頼性保証を提供する。
SENTRYの主要な成果は、モデル規模に関係なく、わずか数千のランダムサンプルで故障率推定の誤差を99%の信頼水準で1%以内に抑えられることを理論的かつ実験的に示した点にある。このアプローチにより、実験コストは網羅的手法と比較して最大10,700倍削減される。さらに、コスト削減にもかかわらず、SENTRYはアーキテクチャのどのコンポーネントが脆弱かを特定する能力を保持している。研究チームはViT-TinyやViT-Smallといった複数のViTアーキテクチャを評価し、信頼性が極めて不均一であることを発見した。
具体的には、FP32浮動小数点数のビット反転のうち、たった3%だけがモデルの故障（出力誤差）を引き起こすが、その3%のほとんどが精度の壊滅的な低下をもたらす。詳細な分析により、脆弱性は主に正規化層（LayerNormなど）とIEEE-754形式の指数部の特定ビットに集中していることが明らかになった。これらの発見は、耐障害性を強化したエッジ向けViTアーキテクチャの設計に直接活用できる。例えば、指数ビットのハードウェア保護や、正規化層への誤り検出機構の導入などが考えられる。この研究は、安全が要求されるシステムにViTを展開するための信頼性評価の基盤を提供するとともに、将来の堅牢なモデル開発の指針となる。