Black Forest Labs 正式釋出了其最新的多模態基礎模型 FLUX 3,該模型旨在透過統一架構聯合學習影像、影片和音訊,從而構建對真實世界的視覺智慧。FLUX 3 基於 Self-Flow 方法,該方法高效地統一了多模態生成與理解,並在訓練中大幅擴充套件了計算和資料資源。
FLUX 3 的核心原則是:沒有任何單一模態能提供完整的描述,每種模態都是同一真實世界的投影,但會丟失部分資訊。影像捕捉空間結構和關係,影片恢復時間維度並揭示動態和物理規律,音訊揭示視覺無法檢測的機械與聲學因果關係,語言則將感知與目標和抽象概念聯絡起來。透過同時學習所有模態,它們之間的相互約束能提供更豐富的資訊。
在影片生成方面,FLUX 3 可生成最長 20 秒的多樣化影片,並自帶音訊。其核心能力包括文本到影片、影像到影片(用作起始幀或視覺參考)、影片到影片(將源影片的核心元素帶入新場景)、生成式影片-音訊延續、關鍵幀到影片、多語言對話、多種視覺風格和寬高比、以及透過智慧體方式將多個片段串聯成長序列。初步評估顯示,在 720p 的 10 秒文本到影片片段對比中,FLUX 3 在 69% 的對比中優於 Grok Imagine Video,60% 優於 Kling v3 Pro,59% 優於 Happy Horse v1,57% 優於 Happy Horse 1.1,52% 優於 Seedance 2.0 和 Gemini Omni Flash,77% 優於 Runway Gen-4.5,93% 優於 Luma Ray 3.2。FLUX 3 在捕捉人類面部表情、聲音與物理事件關聯以及多語言能力方面尤為突出。FLUX 3 Video 現已進入早期訪問階段。
在影像生成方面,FLUX 3 能夠合成和編輯多種風格、寬高比和解析度的影像。初步評估顯示,相比早期版本的 FLUX,其對複雜提示詞和文本生成的處理能力顯著提升,並能渲染多種語言的高精度文本。FLUX 3 Image 的早期訪問將在未來幾周內開放。
在動作預測方面,FLUX 3 的世界理解能力擴充套件到了動作預測。團隊透過兩種途徑實現:將原生動作預測直接整合到 FLUX 3 中,以及將預訓練的影片骨幹作為動態感知基礎,供專用動作模型微調。其中,mimic robotics 作為首批合作伙伴,利用 FLUX 3 骨幹開發了 FLUX-mimic 影片-動作模型,用於靈巧操作和生產部署。
未來,Black Forest Labs 計劃逐步推出以下能力:透過 API 和私有權重提供影片和音訊生成與編輯(FLUX 3 Video);透過選定的研究和商業合作伙伴提供動作預測(FLUX-mimic 和 FLUX 3 Action);透過 API 和私有權重提供影像合成與編輯(FLUX 3 Image);以及提供多模態骨幹的開源權重(FLUX 3 Dev)。團隊還將釋出更多技術細節。FLUX 3 的早期訪問現已開放申請。