在航空航天、汽車或重工業製造領域，企業通常維護著龐大的技術文件庫。這些文件將書面規範與工程圖、CAD 圖紙、檢測照片、熱分析曲線和疲勞曲線結合在一起。例如，關於噴嘴喉部最高壁溫的文本查詢，答案可能隱藏在熱等高線圖中，而非文字描述中。純文本檢索系統無法獲取這些資訊，因為它們無法識別影像內容。
Amazon Nova Multimodal Embeddings 透過將文本、影像和文件頁面對映到共享向量空間來解決這一難題。文本查詢可以檢索到工程圖，影像查詢也能找到書面規範，因為兩種模態處於同一座標系統。
本文基於 Amazon Nova Multimodal Embeddings（在 Amazon Bedrock 上）和 Amazon S3 Vectors 構建了一套面向航空航天製造文件的多模態檢索系統。我們使用 26 個製造查詢對系統進行了評估，並比較了純文本流水線與多模態流水線的生成質量。
多模態檢索之所以對製造領域至關重要，是因為大多數製造文件都混合了文本、圖表和影像。例如，一份工單可能包含書面裝配流程以及已完成步驟的帶註釋照片；檢測報告將合格/不合格測量值與焊縫射線影像配對；材料認證既包含表格形式的力學效能，也包含工程師在設計評審時需參考的 S-N 疲勞曲線。
純文本檢索系統透過 OCR 提取文本，然後對提取的字串進行嵌入和索引。當答案出現在文件的文字部分時，這種方法有效；但純文本系統會遺漏圖中的空間關係、檢測影像中的視覺模式以及圖表中編碼的定量資訊。例如，搜尋渦輪泵使用的軸承型別，答案可能顯示在剖檢視的標註中，而 OCR 要麼誤讀，要麼剝離了空間上下文。
多模態嵌入則採用不同方式：模型直接處理影像，生成與文本嵌入處於同一空間的向量。關於渦輪泵軸承的文本查詢可以基於視覺理解匹配資料集中的剖檢視，而不依賴於 OCR 提取的文字。
Amazon Nova Multimodal Embeddings 在 Amazon Bedrock 上可用，支援為文本、影像和多頁文件生成嵌入。文本、影像和文件模態投影到統一的向量空間，從而可以直接計算文本嵌入與影像嵌入之間的餘弦相似度。可配置的嵌入維度包括 256、384、1024 或 3072。本文使用 1024 維度作為檢索質量與成本之間的實用平衡。該模型還支援 DOCUMENT_IMAGE 細節級別，專為包含圖表、表格和帶註釋圖的混合內容頁面設計。對於檢索工作負載，模型接受 purpose 引數，可設定為 GENERIC_INDEX（索引文件）或 GENERIC_RETRIEVAL（查詢）。這種非對稱嵌入方法無需手動格式化查詢即可改進向量空間。
我們構建了兩個並行檢索流水線：流水線 A 使用 Amazon Nova Multimodal Embeddings 直接嵌入每張影像和每個 PDF 頁面，然後匯入 Amazon S3 Vectors 索引；流水線 B（純文本基線）先使用 Amazon Nova 2 Lite 進行 OCR 文本提取，再對提取的文本進行嵌入，然後匯入另一個 S3 Vectors 索引。評估階段對 26 個製造查詢執行檢索指標（Recall@K、MRR、NDCG@K），然後使用檢索到的上下文透過 Amazon Nova 2 Lite 生成答案，並由 LLM 評估器對答案與真實結果進行評分。
整體架構如下：源文件流經兩條並行路徑；流水線 A 直接用 Amazon Nova Multimodal Embeddings 嵌入影像，流水線 B 則先透過 OCR 提取文本再嵌入。兩條流水線均將向量儲存在 Amazon S3 Vectors 中。查詢時，檢索到的上下文被送入 Amazon Nova 2 Lite 生成答案，並由 LLM 評估器根據真實答案打分。
實現步驟包括：生成多模態嵌入、構建 S3 Vectors 索引、以及執行查詢。對於製造影像，只需一個 InvokeModel 呼叫即可生成嵌入，可指定影像位元組、嵌入維度和細節級別。對於獨立影像使用 STANDARD_IMAGE，對於 PDF 頁面使用 DOCUMENT_IMAGE 以獲得更好效果。查詢時，使用 GENERIC_RETRIEVAL 目的生成文本嵌入，然後呼叫 query_vectors 檢索最相似的文件。
評估結果顯示，多模態流水線在檢索正確答案方面顯著優於純文本基線。例如，查詢“燃燒室法蘭螺栓的扭矩規格是多少？”時，多模態系統成功檢索到包含扭矩規格的工程圖，而純文本系統可能因 OCR 錯誤而失敗。
總之，Amazon Nova Multimodal Embeddings 為製造業提供了一種強大的方式，能夠利用技術文件中的豐富視覺資訊，克服傳統文本檢索的侷限。該方案可推廣至航空航天、汽車及其他重工業領域。