多模态嵌入模型旨在将不同类型的数据（如文本、图像、音频和视频）映射到一个共享的语义空间中，从而支持跨模态检索、分类等任务。然而，传统方法通常需要从头开始训练大型模型，成本高昂且耗时。Jina AI 提出的 jina-embeddings-v5-omni 套件采用了一种创新的“冻结塔组合”（Frozen-Tower Composition）方法，有效解决了这一难题。
该模型基于视觉语言模型（VLM）架构，将非文本编码器适配为语言模型的输入，再由语言模型生成所有模态的嵌入。具体来说，研究团队在已有的 Jina Embeddings v5 文本模型基础上，额外添加了图像和音频编码器。这些编码器以及原始的文本骨干模型均保持冻结状态，仅训练连接组件，其参数量仅占整个模型的 0.35%。这种设计带来了显著优势：训练过程极其高效，避免了全参数重新训练的巨大开销；同时，语言模型本身几乎未受影响，为文本输入生成的嵌入与原始文本模型完全一致，从而保持了文本几何结构。
评估结果显示，jina-embeddings-v5-omni 的性能与当前最先进的大型多模态嵌入模型不相上下，甚至在某些任务上表现更优。该套件包含两个模型，能够处理文本、图像、音频和视频输入。研究团队在论文中详细介绍了架构设计、训练细节和实验结果，论文共计18页，包含8张图和10张表格。代码和模型预计将在后续发布。这项工作的提交日期为2026年5月8日，作者包括 Florian Hönicke 等七人。论文的 arXiv 编号为 2605.08384，属于计算与语言（cs.CL）领域。通过这种高效的冻结塔组合方法，Jina AI 展示了在保持文本几何特性的同时，实现多模态嵌入的可能性，为实际应用中的模型部署提供了更经济高效的方案。