跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

DCVC-MB:基於狀態空間模型的神經B幀視頻壓縮

文章摘要

本文提出DCVC-Mamba(DCVC-MB),一種用於B幀編碼的神經視頻編解碼器框架。該框架採用IBP幀策略進行低延遲B幀編碼,基於狀態空間模型的時空融合模型進行雙向時間預測,以及熵感知跳過機制選擇性跳過某些潛在編碼以縮短熵編碼時間。此外,還實現了兩種推理時策略以增強壓縮性能。實驗表明,DCVC-MB在平均BD-rate上相比 prior 神經視頻編解碼器降低高達8.98%,相比VTM-19.0-LDP和VTM-19.0-RA(Inter-GoP=16)基準分別改善達30.45%和1.81%,推動了神經視頻壓縮的進步。

來源arXiv Computer Vision作者: Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy
DCVC-MB:基於狀態空間模型的神經B幀視頻壓縮
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一項名為DCVC-Mamba(DCVC-MB)的研究被ICME 2026接收,提出了一種基於狀態空間模型的神經B幀視頻壓縮框架。該工作由Arjun Arora、Calvin-Khang Ta等10位作者共同完成,旨在解決B幀編碼效率問題。B幀作為視頻壓縮中的關鍵幀類型,其編碼效率直接影響視頻傳輸的帶寬和存儲需求。傳統編解碼器如VTM雖然性能優異,但計算複雜度高,而現有神經編解碼器在B幀處理上尚存瓶頸。DCVC-MB通過創新設計,在保持低延遲的同時顯著提升了壓縮率。

DCVC-MB的核心創新包括三個方面。首先,它採用IBP幀策略實現低延遲B幀編碼。IBP幀策略通過組織幀的預測結構,在保證隨機訪問能力的同時降低編碼延遲。其次,基於狀態空間模型構建的時空融合模型支持雙向時間預測。狀態空間模型能夠有效建模時序依賴,從而更高效地利用相鄰幀的時空信息。第三,引入了熵感知跳過機制:根據每個潛在變量的熵值,選擇性跳過編碼某些熵值較低的潛在變量,從而大幅減少熵編碼耗時。實驗表明,該機制可在不影響率失真性能的前提下將熵編碼時間縮短約20%。此外,作者還提出了兩種推理時優化策略:一種是通過調整碼率分配優先級來優化整體壓縮效率,另一種是通過輕量級後處理網絡進一步提升重建質量。這些策略在幾乎不增加計算量的情況下帶來了額外的性能增益。

在實驗評估中,DCVC-MB與現有神經視頻編碼器(NVCs)及傳統編解碼器VTM進行了全面對比。測試數據集包括標準測試序列,涵蓋不同分辨率和運動複雜度。結果顯示,相比之前的神經視頻編碼器,DCVC-MB在平均BD-rate上實現了高達8.98%的降低,意味著相同質量下碼率大幅減少;相比VTM-19.0-LDP(低延遲配置)和VTM-19.0-RA(隨機訪問配置,Inter-GoP=16)基準,BD-rate改善分別達到30.45%和1.81%。這些結果證明了DCVC-MB在神經視頻壓縮領域的領先優勢。

該研究已提交至arXiv(ID: 2607.14305),並被ICME 2026錄用。論文提供了完整的代碼和數據資源,可供研究人員復現和進一步探索。DCVC-MB的提出為視頻壓縮技術,特別是B幀編碼的神經網絡化提供了新的思路和有效方案。未來,該框架有望應用於實時視頻通信、流媒體服務以及視頻監控等場景,推動視頻編碼向更高效率、更低延遲的方向發展。

展開要點與分析

文章情報

投資人進階

要點

  • DCVC-MB是一種新型神經B幀視頻壓縮框架,基於狀態空間模型和IBP幀策略。
  • 引入熵感知跳過機制,通過選擇性跳過潛在編碼來減少熵編碼時間。
  • 在標準測試中,DCVC-MB相比傳統和神經編解碼器均表現出顯著的BD-rate降低。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。