視覚・言語・行動（VLA）モデルは、身体化知能において顕著な行動生成能力を示しますが、その高い計算コストによりエッジプラットフォームへの展開は非現実的です。この課題に対処するため、研究者らはActQuantを提案しました。これはVLAモデル向けに設計された行動誘導型混合精度ポストトレーニング量子化（PTQ）フレームワークで、サブ4ビットの重み量子化を実現します。
ActQuantは2つの段階で構成されます。まず、テンソル間ビット幅割り当て器が、各重み行列がエージェントの行動予測にどれだけ寄与するかに基づいて単一のビット幅を割り当てます。次に、テンソル内スケール最適化器が行動認識曲率を使用してブロックごとの量子化スケールを調整し、動的レンジを制御に最も影響力のある重みに集中させます。この設計により、既存のPTQ手法が低ビット幅で深刻な性能劣化を起こす問題を効果的に克服しています。特に、行動予測タスク自体を量子化のガイドとして活用する点が革新的であり、極度の圧縮下でも高い行動生成精度を維持できます。
さらに、積極的な量子化のデバイス上の利点を実現するため、研究チームはOmniModel.cppも導入しました。これは、アーキテクチャをネイティブなC/C++ランタイムに移植し、効率的なロービットカーネルを備えたエージェント型変換パイプラインです。PyTorchなどのフレームワークから直接変換し、最適化されたバイナリを生成することで、複雑な深層学習フレームワークに依存せずにエッジデバイス上で効率的に実行できます。
ActQuantはLIBEROベンチマークと実世界の6自由度UR3アームの両方で評価され、すべてのモデルはOmniModel.cppを通じてデプロイされました。LIBERO上では、ActQuantは3ビット/重み以下で動作する唯一の手法であり、OpenVLA-OFTで95.0%、π0.5で94.8%の性能を維持しました。さらに限界を押し上げた場合、ActQuantはOpenVLA-OFT上で2.5 bpwで90.1%の性能を達成し、バックボーンを14.3 GBから2.7 GBに圧縮（5.3倍）しました。実機UR3アームでは、ActQuantで量子化されたπ0.5モデルはベースラインの成功率を維持しつつ、メモリフットプリントを2.5倍削減しました。これらの結果は、ActQuantがシミュレーション環境だけでなく、実ロボットタスクにおいても元のモデルの成功率を維持しながら効果的な圧縮を実現することを示しています。
ActQuantは、VLAモデルの強力な行動生成能力を維持しながら、ストレージと計算要件を大幅に低減し、エッジでの効率的な展開への実用的な道筋を提供します。この技術は今後、身体化知能の実用的な応用を促進し、ハードウェアの障壁を低減し、ロボットの研究室から現実世界への移行を加速することが期待されます。