Black Forest Labsは、最新のマルチモーダル基盤モデルFLUX 3を発表しました。このモデルは、画像、動画、音声を統一的なアーキテクチャで同時に学習し、現実世界の視覚的知能を構築することを目的としています。FLUX 3は、マルチモーダル生成と理解を効率的に統一するSelf-Flowアプローチに基づいており、トレーニングに使用する計算リソースとデータを大幅に拡張しました。
FLUX 3の核となる原則は、単一のモダリティでは完全な記述が得られないという点です。各モダリティは同じ現実の投影であり、それぞれ異なる情報を捉えます。画像は空間構造と関係性を、動画は時間次元と物理法則を、音声は視覚だけでは検出できない因果関係を、言語は知覚を目標や抽象概念に結び付けます。これらを同時に学習することで、相互の制約からより豊かな情報が得られます。
動画生成では、FLUX 3は最大20秒の多様な動画をネイティブ音声付きで生成できます。主な機能としては、テキストからの動画生成、画像からの動画生成（アニメーションや視覚的参照として）、ビデオツービデオ生成（ソース動画の主要要素を新しいシーンに持ち込む）、生成的な動画・音声の継続、キーフレームからの動画生成、多言語対話、多様なビジュアルスタイルとアスペクト比、エージェンティックチェーンによる長尺シーケンス作成などがあります。初期評価では、720pの10秒テキスト・ツー・ビデオクリップにおいて、FLUX 3はGrok Imagine Videoとの比較で69%、Kling v3 Proで60%、Happy Horse v1で59%、Happy Horse 1.1で57%、Seedance 2.0とGemini Omni Flashで52%、Runway Gen-4.5で77%、Luma Ray 3.2で93%の選好率を示しました。特に、人間の表情キャプチャ、音と物理イベントの関連付け、多言語能力で優れています。FLUX 3 Videoは早期アクセスが開始されています。
画像生成では、FLUX 3は多様なスタイル、アスペクト比、解像度で画像を合成・編集できます。初期評価では、複雑なプロンプトやテキスト生成の処理能力が以前のFLUXから大幅に向上し、多言語で高精度なテキストをレンダリングできます。FLUX 3 Imageの早期アクセスは数週間以内に開始予定です。
行動予測に関しては、FLUX 3の世界理解を行動予測に拡張しています。具体的には、ネイティブな行動予測をFLUX 3に直接統合する経路と、事前学習済みの動画バックボーンを動的認識基盤として専門的な行動モデルがファインチューニングできるようにする経路の2つを採用しています。mimic roboticsは最初のパートナーであり、FLUX 3バックボーンとロボット学習の専門知識を組み合わせたFLUX-mimicビデオ・アクションモデルを開発しました。
今後の展開として、Black Forest Labsは以下の能力を段階的に提供する予定です：APIとプライベートウェイト経由での動画・音声生成・編集（FLUX 3 Video）、選定された研究・商業パートナー向けの行動予測（FLUX-mimicおよびFLUX 3 Action）、APIとプライベートウェイト経由での画像合成・編集（FLUX 3 Image）、マルチモーダルバックボーンのオープンウェイトアクセス（FLUX 3 Dev）。また、技術詳細も公開される予定です。FLUX 3の早期アクセス申し込みは現在受付中です。