マルチモーダル埋め込みモデルは、テキスト、画像、音声、動画などの異なるデータタイプを共通の意味空間にマッピングすることで、クロスモーダル検索や分類などのタスクを可能にします。しかし、従来の手法では大規模なモデルをゼロから訓練する必要があり、コストと時間がかかっていました。Jina AI が提案する「jina-embeddings-v5-omni」は、革新的な「凍結タワー構成（Frozen-Tower Composition）」を採用し、この課題を効果的に解決しました。
本モデルは、視覚言語モデル（VLM）アーキテクチャに基づいており、非テキストエンコーダを言語モデルの入力に適応させ、言語モデルがすべてのモダリティの埋め込みを生成します。具体的には、既存の Jina Embeddings v5 テキストモデルに、画像および音声エンコーダを追加しています。これらのエンコーダと元のテキストバックボーンモデルは凍結され、接続コンポーネントのみが訓練されます。その訓練パラメータは全体のわずか 0.35% です。この設計により、訓練が非常に効率的になり、全パラメータの再訓練に伴う大きなオーバーヘッドを回避できます。また、言語モデルはほぼ変更されず、テキスト入力に対して元のテキストモデルとまったく同じ埋め込みを生成するため、テキストの幾何構造が保持されます。
評価では、jina-embeddings-v5-omni の性能は現在の最先端の大規模マルチモーダル埋め込みモデルに匹敵し、一部のタスクではそれを上回ることが示されました。本スイートはテキスト、画像、音声、動画の入力を処理できる2つのモデルから構成されます。研究チームは、論文でアーキテクチャの設計、訓練の詳細、実験結果を詳述しており、論文は18ページ、8図、10表からなります。コードとモデルは後日公開予定です。この研究は2026年5月8日に提出され、著者は Florian Hönicke 他6名です。arXiv 番号は 2605.08384 で、計算と言語（cs.CL）分野に分類されています。この効率的な凍結タワー構成により、Jina AI はテキスト形状を保持しながらマルチモーダル埋め込みを実現する可能性を示し、実用的なモデル展開においてより経済的かつ効果的な方法を提供しています。