航空宇宙、自動車、または重工業製造に携わる場合、組織は膨大な技術文書リポジトリを維持していることでしょう。これらの文書は、文書仕様とエンジニアリング図面、CAD 図面、検査写真、熱解析プロット、疲労曲線を組み合わせたものです。ノズルスロートの最大壁温度に関するテキストクエリの答えは、熱等高線図に埋め込まれている可能性があり、文章として記述されているとは限りません。テキストのみの検索システムでは、画像コンテンツを認識できないため、その情報を引き出すことはできません。
Amazon Nova Multimodal Embeddings は、テキスト、画像、ドキュメントページを共有ベクトル空間にマッピングすることで、このギャップに対処します。テキストクエリはエンジニアリング図面を検索でき、画像クエリは文書仕様を検索できます。これは、両方のモダリティが同じ座標系を共有しているためです。
この記事では、Amazon Bedrock 上の Amazon Nova Multimodal Embeddings と Amazon S3 Vectors を使用して、航空宇宙製造文書向けのマルチモーダル検索システムを構築します。26 の製造クエリでシステムを評価し、テキストのみのパイプラインとマルチモーダルパイプラインの生成品質を比較します。
マルチモーダル検索が製造業にとって重要な理由は、ほとんどの製造文書がテキスト、図表、画像を組み合わせているからです。単一の作業指示書には、書面による組立手順と、完了した手順の注釈付き写真が含まれる場合があります。検査レポートは、合格/不合格の測定値と溶接部の X 線画像をペアにします。材料認証には、表形式の機械的特性と、設計レビュー中にエンジニアが参照する必要がある S-N 疲労曲線の両方が含まれます。
テキストのみの検索システムは、OCR でテキストを抽出し、抽出した文字列を埋め込んでインデックス化します。これは答えが文書の文章部分にある場合に機能しますが、図の空間関係、検査画像の視覚パターン、プロットやチャートにエンコードされた定量情報は見逃します。ターボポンプに使用されているベアリングの種類を検索する場合、答えは断面図の注釈として表示される可能性があり、OCR はそれを誤読するか、空間コンテキストを剥ぎ取ってしまいます。
マルチモーダル埋め込みは異なるアプローチをとります。画像をテキストに変換してから埋め込む代わりに、モデルが画像を直接処理し、テキスト埋め込みと同じ空間にベクトルを生成します。ターボポンプベアリングに関するテキストクエリは、OCR が抽出したテキストだけでなく、視覚的理解に基づいてデータセット内の断面図とマッチングできます。
Amazon Nova Multimodal Embeddings は Amazon Bedrock で利用可能で、テキスト、画像、マルチページドキュメントの埋め込みを生成します。テキスト、画像、ドキュメントモダリティは単一の共有ベクトル空間に投影されるため、テキスト埋め込みと画像埋め込みの間でコサイン類似度を直接計算できます。埋め込み次元は 256、384、1024、3072 から設定可能です。この記事では、検索品質とコストの実用的なバランスとして 1024 次元を使用します。また、チャート、表、注釈付き図などの混合コンテンツを含むページ向けに設計された DOCUMENT_IMAGE 詳細レベルもサポートしています。検索ワークロードでは、モデルは purpose パラメータを受け入れ、GENERIC_INDEX（インデックス作成用）または GENERIC_RETRIEVAL（クエリ用）に設定できます。この非対称埋め込みアプローチにより、手動でのクエリ書式設定を必要とせずに、検索用のベクトル空間が改善されます。
同じデータセット上に 2 つの並列検索パイプラインを構築し、ダウンストリームの生成品質を比較しました。パイプライン A（マルチモーダル）は、Amazon Nova Multimodal Embeddings を使用して各画像と各 PDF ページをドキュメントイメージとして直接埋め込み、Amazon S3 Vectors インデックスに取り込みます。パイプライン B（テキストのみのベースライン）は、各画像と PDF ページを Amazon Nova 2 Lite に送信して OCR テキスト抽出を行い、抽出されたテキストを Amazon Nova Multimodal Embeddings（テキストのみの入力）で埋め込み、別の S3 Vectors インデックスに取り込みます。評価では、26 の製造クエリをマルチモーダルインデックスに対して実行し、検索メトリクス（Recall@K、MRR、NDCG@K）を取得した後、両方のパイプラインでコンテキストを取得し、Amazon Nova 2 Lite を使用して回答を生成し、LLM 評価者で各回答を正解と比較してスコアリングします。
実装手順は以下の通りです。製造画像の埋め込みを生成するには、Amazon Bedrock への単一の InvokeModel 呼び出しが必要です。リクエストでは、画像バイト、目的の埋め込み次元、詳細レベルを指定します。スタンドアロン画像には STANDARD_IMAGE を使用し、テキストとグラフィックスが混在する PDF ページには DOCUMENT_IMAGE を使用すると、表やチャートコンテンツに対する追加処理により、より良い結果が得られます。クエリ時には、GENERIC_RETRIEVAL 目的でテキスト埋め込みを生成し、query_vectors を呼び出して最も類似したドキュメントを取得します。
評価結果は、マルチモーダルパイプラインが正しい答えを検索する点でテキストのみのベースラインを大幅に上回ることを示しています。例えば、「燃焼室フランジボルトのトルク仕様は？」というクエリに対し、マルチモーダルシステムはトルク仕様を含むエンジニアリング図面を正常に検索しましたが、テキストのみのシステムは OCR エラーのために失敗する可能性がありました。
要約すると、Amazon Nova Multimodal Embeddings は、技術文書に含まれる豊富な視覚情報を活用し、従来のテキスト検索の限界を克服する強力な方法を製造業に提供します。このソリューションは、航空宇宙、自動車、その他の重工業に応用可能です。