多模態嵌入模型旨在將不同型別的資料（如文本、影像、音訊和影片）對映到一個共享的語義空間中，從而支援跨模態檢索、分類等任務。然而，傳統方法通常需要從頭開始訓練大型模型，成本高昂且耗時。Jina AI 提出的 jina-embeddings-v5-omni 套件採用了一種創新的“凍結塔組合”（Frozen-Tower Composition）方法，有效解決了這一難題。
該模型基於視覺語言模型（VLM）架構，將非文本編碼器適配為語言模型的輸入，再由語言模型生成所有模態的嵌入。具體來說，研究團隊在已有的 Jina Embeddings v5 文本模型基礎上，額外新增了影像和音訊編碼器。這些編碼器以及原始的文本骨幹模型均保持凍結狀態，僅訓練連線元件，其引數量僅佔整個模型的 0.35%。這種設計帶來了顯著優勢：訓練過程極其高效，避免了全引數重新訓練的巨大開銷；同時，語言模型本身幾乎未受影響，為文本輸入生成的嵌入與原始文本模型完全一致，從而保持了文本幾何結構。
評估結果顯示，jina-embeddings-v5-omni 的效能與當前最先進的大型多模態嵌入模型不相上下，甚至在某些任務上表現更優。該套件包含兩個模型，能夠處理文本、影像、音訊和影片輸入。研究團隊在論文中詳細介紹了架構設計、訓練細節和實驗結果，論文共計18頁，包含8張圖和10張表格。程式碼和模型預計將在後續釋出。這項工作的提交日期為2026年5月8日，作者包括 Florian Hönicke 等七人。論文的 arXiv 編號為 2605.08384，屬於計算與語言（cs.CL）領域。透過這種高效的凍結塔組合方法，Jina AI 展示了在保持文本幾何特性的同時，實現多模態嵌入的可能性，為實際應用中的模型部署提供了更經濟高效的方案。