黑森林實驗室（BFL）近日發佈了FLUX 3，這是一款多模態基礎模型，能夠在單一架構中同時學習圖像、視頻和音頻。FLUX 3也是首個從同一套權重中輸出視頻、音頻和動作預測的FLUX模型。
BFL研究團隊認為，沒有任何單一模態能夠完整描述世界。圖像捕捉某一時刻的空間結構，視頻恢復時間維度並揭示物理動態，音頻則揭示機械事件與聲音之間的因果關係。每種模態都被視為對同一底層現實的有損投影。當同時對所有模態進行訓練時，它們之間相互約束：聲音必須與衝擊匹配，運動必須遵循質量規律。研究團隊稱，FLUX 3是其首個完全基於這一原則構建的模型。
底層方法：Self-Flow
FLUX 3建立在Self-Flow方法之上，這是BFL提出的一種在統一架構中對齊多模態生成與理解的方法。Self-Flow結合了流匹配目標與自監督特徵重建目標。其在GitHub上的參考實現採用Apache-2.0許可，使用SiT-XL/2模型，並採用每token時間步條件化。訓練時使用25%的每token掩碼率，並通過EMA教師模型在層20到學生模型層8進行自蒸餾。
需要注意的是，該發佈版本是一個ImageNet 256×256研究模型，並非FLUX 3本身。BFL表示，他們基於相同方法“顯著擴展了計算和數據資源”，以訓練跨視頻、圖像和音頻的FLUX 3。Self-Flow本身於2026年3月推出，並非本次發佈的新內容。真正的新穎之處在於其規模。
FLUX 3 Video的功能
FLUX 3 Video能夠一次性生成長達20秒的視頻片段，並自帶原生音頻。支持的模式包括文本到視頻、圖像到視頻、參考片段到視頻、關鍵幀到視頻（用於控制轉場），以及基於輸入視頻和音頻的生成式視頻-音頻續寫。
BFL還列出了多語言對話、將片段鏈接成多鏡頭序列的代理鏈、以及帶有動畫設計的強大文字排版生成。BFL團隊特別指出，該模型在人類面部表情以及將聲音與物理事件關聯方面表現出色。
性能
BFL團隊發佈了初步的人類偏好結果。測試設置是10秒文本到視頻片段，720p分辨率並帶音頻。FLUX 3在93%的對比中優於Luma Ray 3.2，在77%的對比中優於Runway Gen-4.5。與Grok Imagine Video相比，比例為69%，與Kling v3 Pro相比為60%，與Happy Horse v1相比為59%，與Happy Horse 1.1相比為57%。與Seedance 2.0和Gemini Omni Flash相比，結果為52%，接近隨機水平。
關鍵要點
FLUX 3是一個單一的流匹配主幹網絡，聯合訓練於圖像、視頻和音頻。FLUX 3 Video能夠一次性生成最長20秒的視頻並自帶原生音頻。視頻預測消耗了超過95%的訓練計算資源，而音頻僅佔不到0.5%的token。同一骨幹網絡還驅動了FLUX-mimic機器人策略，在單張RTX 5090上運行時間低於80毫秒。訪問權限逐步開放：視頻和動作功能目前處於早期訪問階段，圖像功能隨後，最後才會開放權重。
欲瞭解更多信息，請查閲FLUX 3公告、FLUX 3 x mimic技術文章以及Self-Flow論文。本研究的全部功勞歸於該項目的研究人員。