視覺-語言-動作（VLA）模型在具身智能領域展現出強大的動作生成能力，但其高昂的計算成本使得在邊緣設備上部署變得不切實際。為解決這一難題，研究人員提出了ActQuant，一種新穎的動作引導混合精度後訓練量化（PTQ）框架，專門針對VLA模型實現亞4位權重量化。
ActQuant由兩個階段組成：首先，跨張量位寬分配器根據每個權重矩陣對預測智能體動作的貢獻程度，為其分配單一的位寬；其次，內張量縮放優化器利用動作感知曲率調整每塊的量化尺度，將動態範圍集中在最影響控制的權重上。這種設計有效克服了現有PTQ方法在低位寬下的性能嚴重下降問題。其核心創新在於利用動作預測任務本身來指導量化位寬的分配和縮放因子的優化，從而在極端壓縮下依然保持模型對動作的高精度預測能力。
為了將激進量化帶來的設備端優勢真正落地，研究團隊還推出了OmniModel.cpp，這是一個智能轉換管線，能夠將各類架構移植到原生C/C++運行環境，並配備高效的低位內核。該工具鏈支持從PyTorch等框架直接轉換，生成優化的二進制文件，使得量化後的模型可以高效運行在邊緣設備上，而無需依賴複雜的深度學習框架。
ActQuant在LIBERO基準測試和真實世界的6自由度UR3機械臂上均進行了評估。在LIBERO上，ActQuant是唯一能在3位每權重或以下運行的方法，在OpenVLA-OFT和π0.5上分別保持95.0%和94.8%的性能。進一步推向極限時，ActQuant在OpenVLA-OFT上以2.5 bpw達到90.1%的性能，將骨幹網絡從14.3 GB壓縮至2.7 GB（壓縮比5.3倍）。在真實UR3機械臂上，經過ActQuant量化的π0.5模型在保持基準成功率的同時，將內存佔用減少了2.5倍。這些結果表明，ActQuant不僅能在模擬環境中實現高效壓縮，還能在真實機器人任務中保持原有模型的成功率，為VLA模型的邊緣部署提供了切實可行的方案。
ActQuant為VLA模型的高效邊緣部署提供了一條可行路徑，在保持強大動作生成能力的同時，大幅降低了存儲和計算需求。未來，該技術有望推動具身智能在實際場景中的廣泛應用，降低硬件門檻，加速機器人從實驗室走向現實。