CoMoGen は、Adil Meric 氏ら6名の著者によって2026年5月21日に arXiv に投稿された、コンピュータビジョンとパターン認識分野の研究です。この研究は、1枚の入力画像とバイナリマスク系列から、リアルなインタラクティブ動画を生成する制御可能な動画生成フレームワークを提案しています。複雑な運動アノテーションや追加の制御信号を必要とせず、単純なマスク系列だけで被写体の動きを精密に制御し、周囲の人物、物体、シーンとの自然な相互作用を実現する点が特徴です。
手法の中心は、軽量な MaskAdapter です。これはバイナリマスク系列を潜在残差信号に符号化し、コサイン重み付きスケジュールを通じて Multimodal Diffusion Transformer（MMDiT）に注入します。この注入方式は生成のバックボーンを変更せずに、マスクに含まれる空間的な運動情報を拡散プロセスへ段階的に取り込むことができ、生成品質を保ちながら運動制御を可能にします。
研究チームは、MMDiT と UNet の構造的な違いにも注目しています。UNet は粗から細へという階層的な設計を持つため、各層の役割が比較的明確です。一方、MMDiT は均一な Transformer ブロックの連続で構成されるため、どの層が運動生成を担っているのかを特定するのが困難です。そこで著者らは、MMDiT の注意空間において「Motion Layers」を特定する新しい方法を提案しました。運動層を決めた後は、それらの層にのみ Low-Rank Adaptation（LoRA）を適用して微調整を行い、MMDiT のアーキテクチャには一切変更を加えません。この選択的な適応により、運動に重要なコンポーネントに学習を集中させ、計算コストを大幅に削減できます。
この簡潔な設計にもかかわらず、CoMoGen は性能を犠牲にしていません。被写体の正確な運動を実現し、周囲の人間、物体、シーンとの説得力のあるインタラクションを生成できます。複数のデータセットで行われた包括的な実験では、CoMoGen が従来の制御可能な動画生成手法を一貫して上回り、運動忠実度と知覚リアリズムにおいて最先端の性能を達成したことが示されています。論文ではプロジェクトページも公開されており、生成結果や詳細を確認できます。
研究上の意義は、1枚の画像とバイナリマスク系列という非常にシンプルな制御インターフェースで高い運動制御性を得ながら、運動層の特定と LoRA 微調整によって大規模な構造変更や高い学習コストを回避している点にあります。これは制御可能な動画生成に対する軽量かつ有効な技術的アプローチを示すものであり、より複雑なインタラクション場面における運動制御研究にも参考になると考えられます。