近日,一項名為DCVC-Mamba(DCVC-MB)的研究被ICME 2026接收,提出了一種基於狀態空間模型的神經B幀視頻壓縮框架。該工作由Arjun Arora、Calvin-Khang Ta等10位作者共同完成,旨在解決B幀編碼效率問題。B幀作為視頻壓縮中的關鍵幀類型,其編碼效率直接影響視頻傳輸的帶寬和存儲需求。傳統編解碼器如VTM雖然性能優異,但計算複雜度高,而現有神經編解碼器在B幀處理上尚存瓶頸。DCVC-MB通過創新設計,在保持低延遲的同時顯著提升了壓縮率。
DCVC-MB的核心創新包括三個方面。首先,它採用IBP幀策略實現低延遲B幀編碼。IBP幀策略通過組織幀的預測結構,在保證隨機訪問能力的同時降低編碼延遲。其次,基於狀態空間模型構建的時空融合模型支持雙向時間預測。狀態空間模型能夠有效建模時序依賴,從而更高效地利用相鄰幀的時空信息。第三,引入了熵感知跳過機制:根據每個潛在變量的熵值,選擇性跳過編碼某些熵值較低的潛在變量,從而大幅減少熵編碼耗時。實驗表明,該機制可在不影響率失真性能的前提下將熵編碼時間縮短約20%。此外,作者還提出了兩種推理時優化策略:一種是通過調整碼率分配優先級來優化整體壓縮效率,另一種是通過輕量級後處理網絡進一步提升重建質量。這些策略在幾乎不增加計算量的情況下帶來了額外的性能增益。
在實驗評估中,DCVC-MB與現有神經視頻編碼器(NVCs)及傳統編解碼器VTM進行了全面對比。測試數據集包括標準測試序列,涵蓋不同分辨率和運動複雜度。結果顯示,相比之前的神經視頻編碼器,DCVC-MB在平均BD-rate上實現了高達8.98%的降低,意味著相同質量下碼率大幅減少;相比VTM-19.0-LDP(低延遲配置)和VTM-19.0-RA(隨機訪問配置,Inter-GoP=16)基準,BD-rate改善分別達到30.45%和1.81%。這些結果證明了DCVC-MB在神經視頻壓縮領域的領先優勢。
該研究已提交至arXiv(ID: 2607.14305),並被ICME 2026錄用。論文提供了完整的代碼和數據資源,可供研究人員復現和進一步探索。DCVC-MB的提出為視頻壓縮技術,特別是B幀編碼的神經網絡化提供了新的思路和有效方案。未來,該框架有望應用於實時視頻通信、流媒體服務以及視頻監控等場景,推動視頻編碼向更高效率、更低延遲的方向發展。