ビジョントランスフォーマー（ViT）検出器は、CNNに近い精度を達成していますが、変形可能な注意機構、特徴融合、非線形活性化関数などの主要コンポーネントが整数演算と互換性がないため、NPUやマイクロコントローラへの展開が困難です。既存の量子化検出器は、Softmax、GELU、LayerNormなどの浮動小数点演算子を保持するか、重量級のバックボーンに焦点を当てており、軽量検出トランスフォーマーにはエンドツーエンドの整数実装がありませんでした。このギャップを埋めるため、研究チームはI-LW-DETRを提案しました。これは、初の完全整数演算のみの軽量DETRであり、トランスフォーマーの非線形演算を含むすべての前方パスが整数演算で実行されます。
I-LW-DETRは、3つの主要コンポーネントに基づいています。
- スケール保持分割畳み込み（Scale-preserving Split Convolution）：マルチスケールプロジェクタの各ブランチに独立した活性化スケールを割り当て、整数演算で特徴表現の正確性を維持します。
- SD-ShiftGELU（Sign-Dependent ShiftGELU）：要素ごとのシフト演算でGELU非線形性を模倣する符号依存の近似であり、従来の近似による精度低下を回避します。
- 制約付きShiftmax（Constrained Shiftmax）：制約付きシフト演算により安定したSoftmax正規化を維持する整数フレンドリーな代替手段です。
実験は、LW-DETRのtiny、small、mediumなど複数のモデルスケールで実施されました。全精度ベースラインと比較して、I-LW-DETRは中程度の精度低下（例：mAPが1～2ポイント低下）のみで、モデルサイズを約3.6倍、計算コストを一桁以上削減しました。例えば、LW-DETR-tinyでは、完全整数モデルがCOCO val2017で42.1%のmAPを達成したのに対し、元の全精度モデルは44.0%でした。
この成果の重要な意義は、軽量検出トランスフォーマーの完全整数推論を初めて実現し、浮動小数点演算をサポートしないNPUやマイクロコントローラへの直接展開を可能にしたことです。これは、エッジコンピューティング、IoT、組込みビジョンアプリケーションにおいて重要であり、ハードウェアリソースが極限的に制限され、整数演算が効率的で低消費電力である場面で特に有用です。また、I-LW-DETRの設計原則——非線形演算子を整数互換の近似に置き換える——は、他のトランスフォーマーアーキテクチャにも拡張可能であり、より広範なモデル量子化への新たなアプローチを提供します。
本論文は2026年7月27日にarXivに提出され、著者はThanh Cong Leらです。この研究は、リソース制約のあるデバイス上でのビジョントランスフォーマーの実際的な展開を促進し、将来の軽量モデル設計に指針を与えると期待されます。