近日，來自研究團隊的一項新工作CoMoGen（Controllable Motion Dynamics and Interactions with Mask-Guided Video Generation）提出了一種基於掩碼引導的可控視頻生成框架。該框架能夠僅通過輸入圖像和一組二進制掩碼序列，生成包含精確主體運動以及與周圍人、物體和場景合理交互的動態視頻。這一創新方法為解決視頻生成中對運動精確控制的需求提供了新的思路。
CoMoGen的核心創新在於其輕量級的MaskAdapter模塊。該模塊將二進制掩碼序列編碼為潛在殘差信號，並通過餘弦加權的時間調度策略注入到多模態擴散變換器（MMDiT）模型中。與UNet架構採用的層次化粗到細設計不同，MMDiT由一系列均勻的Transformer塊組成，這使得識別負責運動生成的層變得困難。為此，研究者提出了一種新穎的方法，在MMDiT的注意力空間中確定“運動層”（Motion Layers），並僅對這些層使用低秩適配（LoRA）進行微調。這種選擇性適配策略使模型能夠專注於運動關鍵組件，同時大幅降低計算成本。
儘管方法簡單，CoMoGen在控制主體精確運動以及與周圍環境產生合理交互方面表現出色。在多個數據集上的綜合實驗表明，CoMoGen在運動保真度和感知真實感指標上一致優於先前的可控視頻生成方法，達到了當前最先進的性能。該研究的項目頁面已公開，提供更多細節和演示。CoMoGen的出現有望推動視頻生成技術在影視製作、虛擬現實和機器人仿真等領域的應用，為需要精細運動控制的任務提供了高效且靈活的解決方案。