跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

FLUX 3:邁向多模態流模型作為視覺智能的骨幹

文章摘要

FLUX 3是Black Forest Labs發佈的新一代多模態基礎模型,統一處理圖像、視頻和音頻,旨在學習世界的統一表示。模型支持文本到視頻、圖像到視頻、視頻到視頻等多種生成任務,並在視頻生成中實現了高達20秒的時長和原生音頻。初步評估顯示,FLUX 3在多項對比中優於其他模型,尤其在面部表情、聲音與事件關聯和多語言能力方面表現出色。模型還具備圖像生成和動作預測能力,計劃逐步開放API、私有權重和開源權重。

來源Hacker News AI作者: ThouYS
FLUX 3:邁向多模態流模型作為視覺智能的骨幹
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Black Forest Labs 正式發佈了其最新的多模態基礎模型 FLUX 3,該模型旨在通過統一架構聯合學習圖像、視頻和音頻,從而構建對真實世界的視覺智能。FLUX 3 基於 Self-Flow 方法,該方法高效地統一了多模態生成與理解,並在訓練中大幅擴展了計算和數據資源。

FLUX 3 的核心原則是:沒有任何單一模態能提供完整的描述,每種模態都是同一真實世界的投影,但會丟失部分信息。圖像捕捉空間結構和關係,視頻恢復時間維度並揭示動態和物理規律,音頻揭示視覺無法檢測的機械與聲學因果關係,語言則將感知與目標和抽象概念聯繫起來。通過同時學習所有模態,它們之間的相互約束能提供更豐富的信息。

在視頻生成方面,FLUX 3 可生成最長 20 秒的多樣化視頻,並自帶音頻。其核心能力包括文本到視頻、圖像到視頻(用作起始幀或視覺參考)、視頻到視頻(將源視頻的核心元素帶入新場景)、生成式視頻-音頻延續、關鍵幀到視頻、多語言對話、多種視覺風格和寬高比、以及通過智能體方式將多個片段串聯成長序列。初步評估顯示,在 720p 的 10 秒文本到視頻片段對比中,FLUX 3 在 69% 的對比中優於 Grok Imagine Video,60% 優於 Kling v3 Pro,59% 優於 Happy Horse v1,57% 優於 Happy Horse 1.1,52% 優於 Seedance 2.0 和 Gemini Omni Flash,77% 優於 Runway Gen-4.5,93% 優於 Luma Ray 3.2。FLUX 3 在捕捉人類面部表情、聲音與物理事件關聯以及多語言能力方面尤為突出。FLUX 3 Video 現已進入早期訪問階段。

在圖像生成方面,FLUX 3 能夠合成和編輯多種風格、寬高比和分辨率的圖像。初步評估顯示,相比早期版本的 FLUX,其對複雜提示詞和文本生成的處理能力顯著提升,並能渲染多種語言的高精度文本。FLUX 3 Image 的早期訪問將在未來幾周內開放。

在動作預測方面,FLUX 3 的世界理解能力擴展到了動作預測。團隊通過兩種途徑實現:將原生動作預測直接集成到 FLUX 3 中,以及將預訓練的視頻骨幹作為動態感知基礎,供專用動作模型微調。其中,mimic robotics 作為首批合作伙伴,利用 FLUX 3 骨幹開發了 FLUX-mimic 視頻-動作模型,用於靈巧操作和生產部署。

未來,Black Forest Labs 計劃逐步推出以下能力:通過 API 和私有權重提供視頻和音頻生成與編輯(FLUX 3 Video);通過選定的研究和商業合作伙伴提供動作預測(FLUX-mimic 和 FLUX 3 Action);通過 API 和私有權重提供圖像合成與編輯(FLUX 3 Image);以及提供多模態骨幹的開源權重(FLUX 3 Dev)。團隊還將發佈更多技術細節。FLUX 3 的早期訪問現已開放申請。

展開要點與分析

文章情報

工程師入門

要點

  • FLUX 3是統一的多模態基礎模型,聯合學習圖像、視頻和音頻。
  • 視頻生成支持20秒時長,帶原生音頻,在多方面優於競品。
  • 圖像生成質量顯著提升,動作預測能力通過合作伙伴集成。
  • 將逐步開放API、私有權重和開源權重,併發布更多技術細節。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。