Property Finder 的工程團隊在將視覺 AI 工作負載遷移到 Amazon Bedrock 上更具成本效益的選項時，發現了一個關鍵問題：他們用於評估的標籤中，有 96.8% 直接來自現有模型的預測，而非獨立的人工驗證。這意味着評估的真實基準被系統性地偏向原有模型，使得任何替代模型在比較中都處於結構性劣勢。此外，這些標籤本身也存在錯誤，例如水印文本提取中的字符級錯誤、品牌名稱幻覺，以及將多房間圖像強制歸為單一標籤等。
Property Finder 每天處理中東和北非地區數萬張房產圖像，每張圖像需要評估 11 個質量屬性，包括水印檢測、房間分類、傢俱狀態、照片質量和建築指示等。面對數千個新房源、平均每套 15 張圖片的規模，他們迫切需要更經濟的解決方案。然而，在原有偏差標籤的衡量下，任何替代模型都難以展現真實優勢。
為了打破這一循環，團隊決定從頭構建可信的真實基準。他們聘請具有房地產列表質量標準的策略與分析專家，對 356 張阿聯酋圖像和一組埃及圖像進行獨立人工標註，標註過程中完全不參考原有模型的輸出。其中前 256 張圖像構成開發集用於調優，全部 356 張用於最終模型比較。AWS 生成式 AI 創新中心團隊通過專門的澄清會議進行系統性質檢，確保標註一致性。同時，他們將單標籤分類改為多標籤分類，以解決真實場景中多房間重疊帶來的歧義，例如通過門洞看到卧室的走廊圖像應同時標註為走廊和卧室。
在評估指標上，團隊採用 Micro F1 作為主要指標，因為它平等對待每個預測，符合整體標籤正確性的業務目標；同時報告 Macro F1 以監控稀有類別的表現，並使用每標籤精確率/召回率和每樣本 IoU 來定位具體失敗模式。對於九個單標籤屬性（如旋轉或水印檢測），還計算了精確匹配準確率。
有了無偏評估基礎，團隊開始通過迭代式提示優化提升模型表現。這一過程類似於強化學習：每個提示版本視為智能體，Micro F1 作為獎勵信號，錯誤分析則提供改進方向。他們從通用分類指令的 v0 開始，逐步加入結構化輸出格式、屬性特定定義，並針對圖像級錯誤分析進行修正。例如，早期模型會將門洞中可見的次要房間誤判為主房間，團隊加入明確指令要求基於佔據畫面多數的房間進行分類；在某些地區，列表照片帶有裝飾性阿拉伯文字覆蓋層而非水印，團隊添加規則消除了這一類誤報。
隨着優化推進，v21 提示將照片分類和房間類別切換為多標籤輸出，併成為所有模型的共享起點。在此基礎上，Llama 4 Maverick 17B Instruct 在開發集上達到 0.75 的 Micro F1。隨後針對該模型單獨調優，v24 解決了房間尺寸高估和多標籤處理問題，v25 自動優化將關鍵任務前置，v27 通過 MIPROv2 重構照片分類任務，使該任務 Micro F1 達到 0.76。最終版本 v27_PF 加入了 Property Finder 針對渲染圖、帶邊框圖像和走廊的規則，在 356 張評估集上達到 0.80 的 Micro F1，而原有專有模型 A 使用 v22 提示僅得 0.56。在開發集上，從專有模型 A 切換到 Llama 4 Maverick 17B Instruct 並使各自使用調優後的提示，Micro F1 從 0.55 提升至 0.81，相對提升 47%。
並非所有嘗試都成功。將水印屬性和其他屬性分成兩次 API 調用的雙桶方法沒有帶來明顯準確率增益，反而導致帶邊框圖像檢測性能下降，因為模型將水印覆蓋層誤認為圖像邊框。通用提示同樣失敗，無論使用哪個模型，房地產圖像的領域特異性都要求定製化指令。
最終，Property Finder 基於全部 11 個屬性的準確率和成本效率，選擇 Llama 4 Maverick 17B Instruct 用於生產工作負載。在 356 張評估集上，該模型在九個單標籤屬性中有六個達到 90% 或更高的精確匹配準確率，並在全部 11 個屬性上匹配或超越專有模型 A，照片分類兩者持平。整體成本降低了 86%。這一案例表明，修復評估偏差是解鎖更優模型的關鍵前提，而進化式提示優化能夠充分釋放替代模型的潛力。