Black Forest Labs（BFL）は、画像、動画、音声を単一のアーキテクチャで学習するマルチモーダル基盤モデルFLUX 3をリリースしました。FLUX 3は、同一の重みセットから動画、音声、行動予測を出力する初のFLUXモデルです。
BFLの研究チームは、単一のモダリティだけでは世界を完全に記述できないと主張しています。画像はある瞬間の空間構造を捉え、動画は時間を復元して物理的ダイナミクスを明らかにし、音声は機械的イベントと音の因果関係を明らかにします。各モダリティは、同じ現実の損失のある投影として扱われます。すべてのモダリティを同時に学習することで、互いに制約し合います。音は衝撃と一致しなければならず、動きは質量に従わなければなりません。研究チームは、FLUX 3をこの原則に完全に基づいて構築された最初のモデルと呼んでいます。
基盤手法：Self-Flow
FLUX 3は、BFLが提案したマルチモーダル生成と理解を単一アーキテクチャで整合させる手法Self-Flowに基づいています。Self-Flowは、フローマッチング目的と自己教師あり特徴再構成目的を組み合わせています。GitHub上のリファレンス実装はApache-2.0ライセンスで、SiT-XL/2モデルを使用し、トークンごとのタイムステップ条件付けを採用しています。トレーニングでは25%のトークンごとのマスク率を使用し、EMA教師モデルのレイヤー20から学生モデルのレイヤー8への自己蒸留を行います。
リリースされたチェックポイントはImageNet 256×256の研究モデルであり、FLUX 3そのものではありません。BFLは、同じアプローチで「計算リソースとデータリソースを大幅に拡大」して、動画、画像、音声を同時にトレーニングしたFLUX 3を構築したと述べています。Self-Flow自体は2026年3月に導入されたものであり、今回の発表で新しいわけではありません。新しいのはその規模です。
FLUX 3 Videoの機能
FLUX 3 Videoは、最大20秒のクリップを1回の生成で作成でき、ネイティブ音声を備えています。サポートされるモードは、テキストから動画、画像から動画、参照クリップからの動画、制御された遷移のためのキーフレームから動画、および入力動画と音声からの生成的な動画音声継続です。
BFLはまた、多言語対話、クリップをマルチショットシーケンスに連鎖させるエージェンティックチェーン、アニメーションデザインを伴う強力なタイポグラフィ生成を挙げています。BFLチームは、人間の表情や物理的イベントと音の関連付けにおいて特に優れていると報告しています。
性能
BFLチームは予備的な人間の嗜好結果を公開しました。設定は720p、10秒のテキストから動画へのクリップで、音声付きです。FLUX 3は、Luma Ray 3.2との比較で93%、Runway Gen-4.5との比較で77%の確率で好まれました。Grok Imagine Videoに対しては69%、Kling v3 Proに対しては60%、Happy Horse v1に対しては59%、Happy Horse 1.1に対しては57%でした。Seedance 2.0およびGemini Omni Flashに対しては52%で、ほぼコイン投げに近い結果でした。
要点まとめ
FLUX 3は、画像、動画、音声を共同トレーニングした単一のフローマッチングバックボーンです。FLUX 3 Videoは、最大20秒のネイティブ音声付き動画を1回の生成で作成できます。動画予測はトレーニング計算リソースの95%以上を消費し、音声は0.5%未満のトークンです。同じバックボーンが、1枚のRTX 5090上で80ミリ秒未満で動作するロボットポリシーFLUX-mimicを駆動します。アクセスは段階的に公開されます。動画とアクションは早期アクセス中で、画像はその後、オープンウェイトは最後になります。
詳細については、FLUX 3の発表記事、FLUX 3 x mimicの技術記事、およびSelf-Flowの論文をご参照ください。本研究の功績はすべてプロジェクトの研究者に帰属します。