本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

SENTRY:ソフトエラー下におけるVision Transformerの統計的信頼性分析

記事の要約

SENTRYは有限母集団サンプリング理論に基づく統計的フォールトインジェクション枠組みを提案し、わずか数千サンプルで99%信頼度・誤差1%以内の故障率保証を実現、実験コストを最大10,700倍削減するとともに、ViTの正規化層やIEEE-754指数部ビットへの脆弱性を明らかにした。

ソースarXiv Computer Vision著者: Pramit Kumar Bhaduri, Mahdi Taheri, Samira Nazari, Maksim Jenihhin, Christian Herglotz, Michael Hubner
SENTRY:ソフトエラー下におけるVision Transformerの統計的信頼性分析
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

自動運転や医療画像診断といった安全クリティカルな領域でVision Transformer(ViT)の利用が拡大するにつれ、ソフトエラーに対する信頼性の確保が極めて重要になっている。しかし、ViTの膨大なパラメータ数は、網羅的なフォールトインジェクションキャンペーンを実行不可能にする。この課題を解決するため、研究チームはSENTRYと呼ぶ統計的フォールトインジェクション枠組みを提案した。この研究はPramit Kumar Bhaduriら6名の著者によって行われ、2026年5月30日にarXiv(2606.07620)に投稿された。

SENTRYの核心は、有限母集団サンプリング理論を活用して信頼性評価のコストを大幅に削減する点にある。研究によれば、モデルの規模に関係なく、わずか数千のサンプルを用いるだけで、99%の信頼度で故障率の推定誤差を1%以内に収めることが可能である。これは、考えられるすべての故障を網羅する従来の総当たり手法と比較して、実験コストを最大10,700倍削減できることを意味する。しかも、アーキテクチャの構成要素ごとに脆弱性を特定する能力は維持される。

研究チームはViT-TinyやViT-Smallなど異なるアーキテクチャを広範囲に評価し、信頼性の分布が高度に非一様であることを明らかにした。具体的には、FP32のビットフリップのうち故障を引き起こすのはわずか3%であるが、それらの故障イベントの大多数は軽微な劣化ではなく、壊滅的な精度崩壊をもたらす。つまり、ソフトエラーが一度発生すると、その結果は非常に深刻になる傾向がある。

さらに分析を進めると、脆弱性は正規化層とIEEE-754浮動小数点形式の重要な指数部ビットに集中していることが特定された。これらの発見は、エッジ展開に向けた堅牢化ViTアーキテクチャの設計に数学的基盤と実用的な指針を提供する。SENTRYフレームワークは、ViTの信頼性評価における方法論の空白を埋めるだけでなく、安全クリティカルなアプリケーションにおけるViTのロバスト性設計の重点方向を示している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 有限母集団サンプリングを活用し、数千サンプルのみで形式化的な信頼性保証を提供、故障率を99%信頼度で1%以内の誤差に抑える。
  • 網羅的フォールトインジェクションと比較して実験コストを最大10,700倍削減しつつ、アーキテクチャ構成要素の脆弱性特定能力を維持。
  • ViTの信頼性は高度に非一様:FP32ビットフリップのわずか3%のみが故障を引き起こすが、その大多数は壊滅的な精度崩壊につながる。
  • 脆弱性は正規化層とIEEE-754形式の重要な指数部ビットに集中し、エッジ展開向け堅牢化ViT設計への実用的な知見を提供。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。