黑森林實驗室(BFL)近日釋出了FLUX 3,這是一款多模態基礎模型,能夠在單一架構中同時學習影像、影片和音訊。FLUX 3也是首個從同一套權重中輸出影片、音訊和動作預測的FLUX模型。
BFL研究團隊認為,沒有任何單一模態能夠完整描述世界。影像捕捉某一時刻的空間結構,影片恢復時間維度並揭示物理動態,音訊則揭示機械事件與聲音之間的因果關係。每種模態都被視為對同一底層現實的有損投影。當同時對所有模態進行訓練時,它們之間相互約束:聲音必須與衝擊匹配,運動必須遵循質量規律。研究團隊稱,FLUX 3是其首個完全基於這一原則構建的模型。
底層方法:Self-Flow
FLUX 3建立在Self-Flow方法之上,這是BFL提出的一種在統一架構中對齊多模態生成與理解的方法。Self-Flow結合了流匹配目標與自監督特徵重建目標。其在GitHub上的參考實現採用Apache-2.0許可,使用SiT-XL/2模型,並採用每token時間步條件化。訓練時使用25%的每token掩位元速率,並透過EMA教師模型在層20到學生模型層8進行自蒸餾。
需要注意的是,該釋出版本是一個ImageNet 256×256研究模型,並非FLUX 3本身。BFL表示,他們基於相同方法“顯著擴充套件了計算和資料資源”,以訓練跨影片、影像和音訊的FLUX 3。Self-Flow本身於2026年3月推出,並非本次釋出的新內容。真正的新穎之處在於其規模。
FLUX 3 Video的功能
FLUX 3 Video能夠一次性生成長達20秒的影片片段,並自帶原生音訊。支援的模式包括文本到影片、影像到影片、參考片段到影片、關鍵幀到影片(用於控制轉場),以及基於輸入影片和音訊的生成式影片-音訊續寫。
BFL還列出了多語言對話、將片段連結成多鏡頭序列的代理鏈、以及帶有動畫設計的強大文字排版生成。BFL團隊特別指出,該模型在人類面部表情以及將聲音與物理事件關聯方面表現出色。
效能
BFL團隊釋出了初步的人類偏好結果。測試設定是10秒文本到影片片段,720p解析度並帶音訊。FLUX 3在93%的對比中優於Luma Ray 3.2,在77%的對比中優於Runway Gen-4.5。與Grok Imagine Video相比,比例為69%,與Kling v3 Pro相比為60%,與Happy Horse v1相比為59%,與Happy Horse 1.1相比為57%。與Seedance 2.0和Gemini Omni Flash相比,結果為52%,接近隨機水平。
關鍵要點
FLUX 3是一個單一的流匹配主幹網路,聯合訓練於影像、影片和音訊。FLUX 3 Video能夠一次性生成最長20秒的影片並自帶原生音訊。影片預測消耗了超過95%的訓練計算資源,而音訊僅佔不到0.5%的token。同一骨幹網路還驅動了FLUX-mimic機器人策略,在單張RTX 5090上執行時間低於80毫秒。訪問許可權逐步開放:影片和動作功能目前處於早期訪問階段,影像功能隨後,最後才會開放權重。
欲瞭解更多資訊,請查閱FLUX 3公告、FLUX 3 x mimic技術文章以及Self-Flow論文。本研究的全部功勞歸於該專案的研究人員。