Property Finder 的工程团队在将视觉 AI 工作负载迁移到 Amazon Bedrock 上更具成本效益的选项时，发现了一个关键问题：他们用于评估的标签中，有 96.8% 直接来自现有模型的预测，而非独立的人工验证。这意味着评估的真实基准被系统性地偏向原有模型，使得任何替代模型在比较中都处于结构性劣势。此外，这些标签本身也存在错误，例如水印文本提取中的字符级错误、品牌名称幻觉，以及将多房间图像强制归为单一标签等。
Property Finder 每天处理中东和北非地区数万张房产图像，每张图像需要评估 11 个质量属性，包括水印检测、房间分类、家具状态、照片质量和建筑指示等。面对数千个新房源、平均每套 15 张图片的规模，他们迫切需要更经济的解决方案。然而，在原有偏差标签的衡量下，任何替代模型都难以展现真实优势。
为了打破这一循环，团队决定从头构建可信的真实基准。他们聘请具有房地产列表质量标准的策略与分析专家，对 356 张阿联酋图像和一组埃及图像进行独立人工标注，标注过程中完全不参考原有模型的输出。其中前 256 张图像构成开发集用于调优，全部 356 张用于最终模型比较。AWS 生成式 AI 创新中心团队通过专门的澄清会议进行系统性质检，确保标注一致性。同时，他们将单标签分类改为多标签分类，以解决真实场景中多房间重叠带来的歧义，例如通过门洞看到卧室的走廊图像应同时标注为走廊和卧室。
在评估指标上，团队采用 Micro F1 作为主要指标，因为它平等对待每个预测，符合整体标签正确性的业务目标；同时报告 Macro F1 以监控稀有类别的表现，并使用每标签精确率/召回率和每样本 IoU 来定位具体失败模式。对于九个单标签属性（如旋转或水印检测），还计算了精确匹配准确率。
有了无偏评估基础，团队开始通过迭代式提示优化提升模型表现。这一过程类似于强化学习：每个提示版本视为智能体，Micro F1 作为奖励信号，错误分析则提供改进方向。他们从通用分类指令的 v0 开始，逐步加入结构化输出格式、属性特定定义，并针对图像级错误分析进行修正。例如，早期模型会将门洞中可见的次要房间误判为主房间，团队加入明确指令要求基于占据画面多数的房间进行分类；在某些地区，列表照片带有装饰性阿拉伯文字覆盖层而非水印，团队添加规则消除了这一类误报。
随着优化推进，v21 提示将照片分类和房间类别切换为多标签输出，并成为所有模型的共享起点。在此基础上，Llama 4 Maverick 17B Instruct 在开发集上达到 0.75 的 Micro F1。随后针对该模型单独调优，v24 解决了房间尺寸高估和多标签处理问题，v25 自动优化将关键任务前置，v27 通过 MIPROv2 重构照片分类任务，使该任务 Micro F1 达到 0.76。最终版本 v27_PF 加入了 Property Finder 针对渲染图、带边框图像和走廊的规则，在 356 张评估集上达到 0.80 的 Micro F1，而原有专有模型 A 使用 v22 提示仅得 0.56。在开发集上，从专有模型 A 切换到 Llama 4 Maverick 17B Instruct 并使各自使用调优后的提示，Micro F1 从 0.55 提升至 0.81，相对提升 47%。
并非所有尝试都成功。将水印属性和其他属性分成两次 API 调用的双桶方法没有带来明显准确率增益，反而导致带边框图像检测性能下降，因为模型将水印覆盖层误认为图像边框。通用提示同样失败，无论使用哪个模型，房地产图像的领域特异性都要求定制化指令。
最终，Property Finder 基于全部 11 个属性的准确率和成本效率，选择 Llama 4 Maverick 17B Instruct 用于生产工作负载。在 356 张评估集上，该模型在九个单标签属性中有六个达到 90% 或更高的精确匹配准确率，并在全部 11 个属性上匹配或超越专有模型 A，照片分类两者持平。整体成本降低了 86%。这一案例表明，修复评估偏差是解锁更优模型的关键前提，而进化式提示优化能够充分释放替代模型的潜力。