在構建視覺購物、圖像或文檔理解以及圖表分析等應用時，驗證模型輸出是否基於源圖像至關重要。傳統的純文本評估器無法判斷描述是否準確反映圖像、提取的發票總額是否與文檔一致，或屏幕摘要是否憑空捏造了頁面上的按鈕。Gartner預測，到2030年，80%的企業軟件將具有多模態能力，而2024年這一比例不到10%。沒有自動化的多模態評估，開發者只能依賴昂貴的人工審核或不可靠的文本代理。
今日，Strands Evals SDK推出了四種新的多模態大語言模型（MLLM）評估器：整體質量、正確性、忠實度和指令遵循。每個評估器對圖像到文本的輸出進行評分，直接向多模態裁判模型發送圖像以及查詢、響應和可選的參考答案。裁判模型返回基於圖像的分值和推理字符串，可用於調試。這些評估器可無縫替換文本評估器，並集成到持續集成（CI）中，自動捕獲視覺幻覺、事實錯誤和指令違規。
本文將介紹如何設置這四種多模態評估器並在圖像到文本任務上運行它們；如何在相同評估器上切換參考和免參考模式；編寫針對特定領域的自定義多模態評估標準；選擇亞馬遜Bedrock上平衡準確性、成本和延遲的裁判模型；以及應用提示設計選擇，以提高裁判與人類評分的一致性。
接下來是前提條件（Python 3.10以上、安裝相應庫、AWS賬號等）。然後解釋為什麼純文本裁判會遺漏基於圖像的失敗：例如模型自信地描述圖表中並不存在的趨勢、幻覺出圖片中沒有的產品或人物、回答錯誤問題或格式不當。純文本裁判只閲讀輸出而不驗證圖像，因此無法發現這些問題。
四種評估器針對最常用的多模態類別——輸入為圖像（或文檔圖像）加文本，輸出為文本。這包括圖像字幕、視覺問答、圖表信息圖解釋、文檔字段提取、OCR和屏幕截圖摘要。表格總結了四種評估器及其捕獲的內容：
- 整體質量（Likert 1-5）：回答的整體質量如何？捕獲相關性差、不準確、回答淺薄、不全面。
- 正確性（二值）：回答在圖像和查詢下是否事實正確且完整？捕獲事實錯誤、屬性、計數、位置、遺漏。
- 忠實度（二值）：回答是否基於圖像而無幻覺？捕獲虛構對象、無依據推斷、外部知識泄漏。
- 指令遵循（二值）：回答是否遵循查詢約束？捕獲格式違規、計數錯誤、離題內容、忽略範圍。
每種評估器支持兩種模式：參考模式（對比黃金答案）和免參考模式（僅從圖像判斷），後者適用於實時圖像無地面真值情況。
接下來是端到端演練：評估一個圖表閲讀任務。輸入是一張條形圖，顯示各區域每月付費流媒體會員的平均收入。系統是一個簡單的視覺智能體，回答關於圖表的狹窄問題。四種評估器在同一個實驗中使用，共享MultimodalOutputEvaluator基類並通過ImageData接收圖像。 步驟1：定義案例和評估器。案例封裝圖像和指令到MultimodalInput中，提供expected_output激活參考模式。 步驟2：編寫任務函數並運行實驗。任務函數接收案例，運行視覺模型返回響應字符串。 步驟3：檢查報告。報告包含每個案例的分數、測試通過狀態和推理字符串。示例輸出顯示了所有評估器通過的情況，並給出了推理字符串。注意每個評估器都返回推理字符串，這對於調試至關重要。同一案例在單個實驗中被四個獨立裁判評分。
自定義評估標準：基類接受任意rubric字符串，例如用於醫學診斷準確性的評分標準。 最後，從實驗中得出的三個設計問題：
- 裁判需要看到圖像嗎？實驗表明，多模態裁判（圖像+文本）比純文本裁判（即使配有詳細圖像描述）更接近人類評分。而且生成圖像描述額外調用LLM並不明顯更便宜或更快。
- 在亞馬遜Bedrock上選擇哪個模型作為裁判？比較後，Anthropic Claude Sonnet 4.6提供了最佳的準確性與成本平衡，並作為默認。總體觀察：更大、更具推理能力的模型作為裁判更可靠，而在同等級別中，高端模型並未比中端模型獲得顯著更高的準確性。
- 提示設計：提示設計選擇如何影響裁判與人類的一致性？實驗中的最佳實踐包括：明確要求裁判基於圖像證據進行評分，提供清晰的評分標準，並要求輸出推理過程。
通過自動化的多模態評估，開發者可以構建更可靠的視覺AI應用，減少手動審核需求。