跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

黑森林實驗室釋出FLUX 3:用於影像、影片、音訊和機器人動作預測的多模態流模型

文章摘要

黑森林實驗室(BFL)釋出了FLUX 3,這是一個多模態基礎模型,能夠在單一架構中學習影像、影片和音訊。它是首個從同一權重集輸出影片、音訊和動作預測的FLUX模型。FLUX 3基於Self-Flow方法,該方法結合了流匹配目標和自監督特徵重建目標。該模型在影片生成方面表現出色,能夠生成長達20秒的片段並自帶音訊。在人類偏好測試中,FLUX 3在多個對比中勝出。此外,同一骨幹網路還驅動了FLUX-mimic機器人策略,響應時間低於80毫秒。

來源MarkTechPost作者: Michal Sutter
黑森林實驗室釋出FLUX 3:用於影像、影片、音訊和機器人動作預測的多模態流模型
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

黑森林實驗室(BFL)近日釋出了FLUX 3,這是一款多模態基礎模型,能夠在單一架構中同時學習影像、影片和音訊。FLUX 3也是首個從同一套權重中輸出影片、音訊和動作預測的FLUX模型。

BFL研究團隊認為,沒有任何單一模態能夠完整描述世界。影像捕捉某一時刻的空間結構,影片恢復時間維度並揭示物理動態,音訊則揭示機械事件與聲音之間的因果關係。每種模態都被視為對同一底層現實的有損投影。當同時對所有模態進行訓練時,它們之間相互約束:聲音必須與衝擊匹配,運動必須遵循質量規律。研究團隊稱,FLUX 3是其首個完全基於這一原則構建的模型。

底層方法:Self-Flow

FLUX 3建立在Self-Flow方法之上,這是BFL提出的一種在統一架構中對齊多模態生成與理解的方法。Self-Flow結合了流匹配目標與自監督特徵重建目標。其在GitHub上的參考實現採用Apache-2.0許可,使用SiT-XL/2模型,並採用每token時間步條件化。訓練時使用25%的每token掩位元速率,並透過EMA教師模型在層20到學生模型層8進行自蒸餾。

需要注意的是,該釋出版本是一個ImageNet 256×256研究模型,並非FLUX 3本身。BFL表示,他們基於相同方法“顯著擴充套件了計算和資料資源”,以訓練跨影片、影像和音訊的FLUX 3。Self-Flow本身於2026年3月推出,並非本次釋出的新內容。真正的新穎之處在於其規模。

FLUX 3 Video的功能

FLUX 3 Video能夠一次性生成長達20秒的影片片段,並自帶原生音訊。支援的模式包括文本到影片、影像到影片、參考片段到影片、關鍵幀到影片(用於控制轉場),以及基於輸入影片和音訊的生成式影片-音訊續寫。

BFL還列出了多語言對話、將片段連結成多鏡頭序列的代理鏈、以及帶有動畫設計的強大文字排版生成。BFL團隊特別指出,該模型在人類面部表情以及將聲音與物理事件關聯方面表現出色。

效能

BFL團隊釋出了初步的人類偏好結果。測試設定是10秒文本到影片片段,720p解析度並帶音訊。FLUX 3在93%的對比中優於Luma Ray 3.2,在77%的對比中優於Runway Gen-4.5。與Grok Imagine Video相比,比例為69%,與Kling v3 Pro相比為60%,與Happy Horse v1相比為59%,與Happy Horse 1.1相比為57%。與Seedance 2.0和Gemini Omni Flash相比,結果為52%,接近隨機水平。

關鍵要點

FLUX 3是一個單一的流匹配主幹網路,聯合訓練於影像、影片和音訊。FLUX 3 Video能夠一次性生成最長20秒的影片並自帶原生音訊。影片預測消耗了超過95%的訓練計算資源,而音訊僅佔不到0.5%的token。同一骨幹網路還驅動了FLUX-mimic機器人策略,在單張RTX 5090上執行時間低於80毫秒。訪問許可權逐步開放:影片和動作功能目前處於早期訪問階段,影像功能隨後,最後才會開放權重。

欲瞭解更多資訊,請查閱FLUX 3公告、FLUX 3 x mimic技術文章以及Self-Flow論文。本研究的全部功勞歸於該專案的研究人員。

展開要點與分析

文章情報

工程師進階

要點

  • FLUX 3是一個多模態基礎模型,統一處理影像、影片和音訊。
  • 它可以生成長達20秒的影片片段,自帶音訊,並在人類偏好評估中領先。
  • 訓練採用Self-Flow方法,影片消耗超過95%的計算資源,音訊僅佔不到0.5%的token。
  • 同一模型還支援機器人動作預測(FLUX-mimic),延遲低於80毫秒。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。