在航空航天、汽车或重工业制造领域，企业通常维护着庞大的技术文档库。这些文档将书面规范与工程图、CAD 图纸、检测照片、热分析曲线和疲劳曲线结合在一起。例如，关于喷嘴喉部最高壁温的文本查询，答案可能隐藏在热等高线图中，而非文字描述中。纯文本检索系统无法获取这些信息，因为它们无法识别图像内容。
Amazon Nova Multimodal Embeddings 通过将文本、图像和文档页面映射到共享向量空间来解决这一难题。文本查询可以检索到工程图，图像查询也能找到书面规范，因为两种模态处于同一坐标系统。
本文基于 Amazon Nova Multimodal Embeddings（在 Amazon Bedrock 上）和 Amazon S3 Vectors 构建了一套面向航空航天制造文档的多模态检索系统。我们使用 26 个制造查询对系统进行了评估，并比较了纯文本流水线与多模态流水线的生成质量。
多模态检索之所以对制造领域至关重要，是因为大多数制造文档都混合了文本、图表和图像。例如，一份工单可能包含书面装配流程以及已完成步骤的带注释照片；检测报告将合格/不合格测量值与焊缝射线图像配对；材料认证既包含表格形式的力学性能，也包含工程师在设计评审时需参考的 S-N 疲劳曲线。
纯文本检索系统通过 OCR 提取文本，然后对提取的字符串进行嵌入和索引。当答案出现在文档的文字部分时，这种方法有效；但纯文本系统会遗漏图中的空间关系、检测图像中的视觉模式以及图表中编码的定量信息。例如，搜索涡轮泵使用的轴承类型，答案可能显示在剖视图的标注中，而 OCR 要么误读，要么剥离了空间上下文。
多模态嵌入则采用不同方式：模型直接处理图像，生成与文本嵌入处于同一空间的向量。关于涡轮泵轴承的文本查询可以基于视觉理解匹配数据集中的剖视图，而不依赖于 OCR 提取的文字。
Amazon Nova Multimodal Embeddings 在 Amazon Bedrock 上可用，支持为文本、图像和多页文档生成嵌入。文本、图像和文档模态投影到统一的向量空间，从而可以直接计算文本嵌入与图像嵌入之间的余弦相似度。可配置的嵌入维度包括 256、384、1024 或 3072。本文使用 1024 维度作为检索质量与成本之间的实用平衡。该模型还支持 DOCUMENT_IMAGE 细节级别，专为包含图表、表格和带注释图的混合内容页面设计。对于检索工作负载，模型接受 purpose 参数，可设置为 GENERIC_INDEX（索引文档）或 GENERIC_RETRIEVAL（查询）。这种非对称嵌入方法无需手动格式化查询即可改进向量空间。
我们构建了两个并行检索流水线：流水线 A 使用 Amazon Nova Multimodal Embeddings 直接嵌入每张图像和每个 PDF 页面，然后导入 Amazon S3 Vectors 索引；流水线 B（纯文本基线）先使用 Amazon Nova 2 Lite 进行 OCR 文本提取，再对提取的文本进行嵌入，然后导入另一个 S3 Vectors 索引。评估阶段对 26 个制造查询运行检索指标（Recall@K、MRR、NDCG@K），然后使用检索到的上下文通过 Amazon Nova 2 Lite 生成答案，并由 LLM 评估器对答案与真实结果进行评分。
整体架构如下：源文档流经两条并行路径；流水线 A 直接用 Amazon Nova Multimodal Embeddings 嵌入图像，流水线 B 则先通过 OCR 提取文本再嵌入。两条流水线均将向量存储在 Amazon S3 Vectors 中。查询时，检索到的上下文被送入 Amazon Nova 2 Lite 生成答案，并由 LLM 评估器根据真实答案打分。
实现步骤包括：生成多模态嵌入、构建 S3 Vectors 索引、以及执行查询。对于制造图像，只需一个 InvokeModel 调用即可生成嵌入，可指定图像字节、嵌入维度和细节级别。对于独立图像使用 STANDARD_IMAGE，对于 PDF 页面使用 DOCUMENT_IMAGE 以获得更好效果。查询时，使用 GENERIC_RETRIEVAL 目的生成文本嵌入，然后调用 query_vectors 检索最相似的文档。
评估结果显示，多模态流水线在检索正确答案方面显著优于纯文本基线。例如，查询“燃烧室法兰螺栓的扭矩规格是多少？”时，多模态系统成功检索到包含扭矩规格的工程图，而纯文本系统可能因 OCR 错误而失败。
总之，Amazon Nova Multimodal Embeddings 为制造业提供了一种强大的方式，能够利用技术文档中的丰富视觉信息，克服传统文本检索的局限。该方案可推广至航空航天、汽车及其他重工业领域。