Property Finder のエンジニアリングチームは、視覚 AI ワークロードを Amazon Bedrock 上のよりコスト効率の高い選択肢に移行する際、評価ラベルの 96.8% が既存モデルの予測をそのまま使用しており、独立した人間の検証を受けていないことを発見しました。つまり、評価のグラウンドトゥルースが既存モデルに体系的に偏っており、代替モデルは比較の段階で構造的に不利な立場に置かれていました。さらに、ラベル自体にも誤りがあり、ウォーターマークのテキスト抽出における文字レベルの間違い、ブランド名の幻覚、複数の部屋がある画像を単一ラベルに強制するといった問題が含まれていました。
Property Finder は中東・北アフリカ地域で毎日数万枚の物件画像を処理しており、各画像についてウォーターマーク検出、部屋分類、家具の状態、写真品質、建設指標など 11 の品質属性を評価しています。数千の新規物件が平均 15 枚の画像を持つ中で、公開前の品質評価が必要であり、より経済的なソリューションが求められていました。しかし、偏ったラベルに基づく限り、どの代替モデルも真の優位性を示すことは困難でした。
この悪循環を断ち切るため、チームは信頼できるグラウンドトゥルースをゼロから構築しました。不動産リスティングの品質基準に精通した戦略・分析の専門家が、アラブ首長国連邦の 356 枚の画像とエジプトの画像セットを、既存モデルの出力を一切参照せずに独立してアノテーションしました。最初の 256 枚は調整用の開発セット、全 356 枚は最終比較用の評価セットとして使用されました。AWS 生成 AI イノベーションセンターのチームが専用の明確化セッションを通じて系統的な品質レビューを実施し、ラベルの一貫性を確保しました。また、単一ラベルからマルチラベル分類に移行することで、実際のシーンで複数の部屋が重なることによる曖昧さを解消しました。たとえば、ドア越しに寝室が見える廊下の画像は、廊下と寝室の両方としてラベル付けされるべきです。
評価指標としては、各予測を平等に扱い全体的なラベルの正確性というビジネス目標に合致する Micro F1 を主要指標とし、希少クラスのパフォーマンスを監視するために Macro F1 も併記しました。さらに、ラベルごとの適合率・再現率とサンプルごとの IoU を用いて具体的な失敗モードを特定し、回転やウォーターマーク検出など 9 つの単一ラベル属性については完全一致精度も算出しました。
unbiased な評価基盤が整うと、チームは反復的なプロンプト最適化によってモデル性能の向上に着手しました。このプロセスは強化学習に類似しており、各プロンプトバージョンをエージェント、Micro F1 を報酬信号、エラー分析を改善の勾配と見なします。汎用的な分類指示の v0 から始め、構造化出力形式や属性固有の定義を追加し、画像レベルのエラー分析に基づく修正を行いました。たとえば、初期のモデルはドア越しに見える二次的な部屋を主部屋と誤分類する傾向があったため、画面の過半を占める部屋に基づいて分類するよう明示的な指示を追加しました。また、一部の地域ではリスティング写真に装飾的なアラビア文字のオーバーレイが含まれ、ウォーターマークと誤認される問題に対して、その文字に関するルールを追加して誤検出を排除しました。
最適化が進むと、v21 プロンプトで写真分類と部屋カテゴリがマルチラベル出力に切り替えられ、すべてのモデルの共有開始点となりました。これにより、Llama 4 Maverick 17B Instruct は開発セットで Micro F1 0.75 を達成しました。その後、このモデル専用に調整が行われ、v24 では部屋サイズの過大評価やマルチラベル処理、出力形式が改善され、v25 では自動最適化によって重要なタスクが先頭に移動され、v27 では MIPROv2 が写真分類タスクを再構築してそのタスクの Micro F1 が 0.76 に達しました。最終版の v27_PF は、レンダリング画像、枠付き画像、廊下に関する Property Finder 独自のルールを追加し、356 枚の評価セットで Micro F1 0.80 を記録しました。一方、既存の専用モデル A は v22 プロンプトで 0.56 にとどまりました。開発セットでは、専用モデル A から Llama 4 Maverick 17B Instruct に切り替え、それぞれ調整済みプロンプトを使用することで、Micro F1 が 0.55 から 0.81 へと 47% の相対向上を実現しました。
すべての試みが成功したわけではありません。ウォーターマーク属性とその他の属性を 2 つの API 呼び出しに分ける「2 バケット」アプローチは、精度の向上をもたらさず、むしろ枠付き画像の検出精度を大幅に低下させました。ウォーターマーク属性が同じプロンプトに含まれないことで、モデルがウォーターマークのオーバーレイを画像の枠と誤認したのです。また、汎用プロンプトはどのモデルを使用しても失敗しました。不動産画像にはドメイン固有の要素が多すぎ、万能な指示では対応できないのです。
最終的に、Property Finder は 11 属性すべての精度とコスト効率に基づいて、Llama 4 Maverick 17B Instruct を本番ワークロードに採用しました。356 枚の評価セットにおいて、このモデルは 9 つの単一ラベル属性のうち 6 つで 90% 以上の完全一致精度を達成し、11 属性すべてで専用モデル A と同等以上、写真分類では両者同点でした。コストは 86% 削減されました。この事例は、評価バイアスの修正がより優れたモデルを実現するための鍵であり、進化的プロンプト最適化が代替モデルの潜在能力を引き出すことを示しています。