跳到主要內容
AI News HubLIVE
更多
僅摘要

單一模型,三種模態:字節跳動發佈Lance,實現圖像與視頻的理解、生成和編輯

字節跳動智能創作實驗室發佈了Lance,一個開源的、原生的統一多模態模型,能夠在單一框架內處理圖像和視頻的理解、生成和編輯,僅使用30億激活參數。Lance採用雙流混合專家架構和模態感知旋轉位置編碼(MaPE),通過四個階段的訓練實現了在多項基準測試中的領先性能,包括圖像生成、視頻生成、圖像編輯和視頻理解,且開源發佈。

來源MarkTechPost作者: Asif Razzaq
單一模型,三種模態:字節跳動發佈Lance,實現圖像與視頻的理解、生成和編輯
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • Lance是一個統一的原生多模態模型,可同時處理圖像和視頻的理解、生成和編輯,僅需30億激活參數。
  • 採用雙流混合專家架構(MoE)和模態感知旋轉位置編碼(MaPE),分別處理理解與生成任務,並在共享序列中保持上下文。
  • 在GenEval(0.90)、VBench(85.11)和MVBench(62.0)等基準測試中取得統一模型最高分,超越許多更大規模模型。
  • 模型權重基於Apache 2.0開源,可在Hugging Face獲取。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。