Black Forest Labs 正式發佈了其最新的多模態基礎模型 FLUX 3,該模型旨在通過統一架構聯合學習圖像、視頻和音頻,從而構建對真實世界的視覺智能。FLUX 3 基於 Self-Flow 方法,該方法高效地統一了多模態生成與理解,並在訓練中大幅擴展了計算和數據資源。
FLUX 3 的核心原則是:沒有任何單一模態能提供完整的描述,每種模態都是同一真實世界的投影,但會丟失部分信息。圖像捕捉空間結構和關係,視頻恢復時間維度並揭示動態和物理規律,音頻揭示視覺無法檢測的機械與聲學因果關係,語言則將感知與目標和抽象概念聯繫起來。通過同時學習所有模態,它們之間的相互約束能提供更豐富的信息。
在視頻生成方面,FLUX 3 可生成最長 20 秒的多樣化視頻,並自帶音頻。其核心能力包括文本到視頻、圖像到視頻(用作起始幀或視覺參考)、視頻到視頻(將源視頻的核心元素帶入新場景)、生成式視頻-音頻延續、關鍵幀到視頻、多語言對話、多種視覺風格和寬高比、以及通過智能體方式將多個片段串聯成長序列。初步評估顯示,在 720p 的 10 秒文本到視頻片段對比中,FLUX 3 在 69% 的對比中優於 Grok Imagine Video,60% 優於 Kling v3 Pro,59% 優於 Happy Horse v1,57% 優於 Happy Horse 1.1,52% 優於 Seedance 2.0 和 Gemini Omni Flash,77% 優於 Runway Gen-4.5,93% 優於 Luma Ray 3.2。FLUX 3 在捕捉人類面部表情、聲音與物理事件關聯以及多語言能力方面尤為突出。FLUX 3 Video 現已進入早期訪問階段。
在圖像生成方面,FLUX 3 能夠合成和編輯多種風格、寬高比和分辨率的圖像。初步評估顯示,相比早期版本的 FLUX,其對複雜提示詞和文本生成的處理能力顯著提升,並能渲染多種語言的高精度文本。FLUX 3 Image 的早期訪問將在未來幾周內開放。
在動作預測方面,FLUX 3 的世界理解能力擴展到了動作預測。團隊通過兩種途徑實現:將原生動作預測直接集成到 FLUX 3 中,以及將預訓練的視頻骨幹作為動態感知基礎,供專用動作模型微調。其中,mimic robotics 作為首批合作伙伴,利用 FLUX 3 骨幹開發了 FLUX-mimic 視頻-動作模型,用於靈巧操作和生產部署。
未來,Black Forest Labs 計劃逐步推出以下能力:通過 API 和私有權重提供視頻和音頻生成與編輯(FLUX 3 Video);通過選定的研究和商業合作伙伴提供動作預測(FLUX-mimic 和 FLUX 3 Action);通過 API 和私有權重提供圖像合成與編輯(FLUX 3 Image);以及提供多模態骨幹的開源權重(FLUX 3 Dev)。團隊還將發佈更多技術細節。FLUX 3 的早期訪問現已開放申請。