温室作物の生産と表現型解析における手作業の削減には、ビジョンベースの自動化が有望な候補ですが、注釈付きトレーニングデータの不足が進歩を妨げています。近年のビジョンベースの基礎モデルは、新しい領域へのゼロショット汎化で有望な結果を示していますが、複雑な農業環境では性能が低下します。この問題に対処するため、研究チームは、プログラムによる合成データ生成と基礎モデルのファインチューニングを組み合わせた、トマト植物セグメンテーションのためのシミュレーションから実世界へのフレームワークを提案しました。
このフレームワークでは、研究者はまず商業用チェリートマト温室を正確にモデル化し、その上で大規模な合成データセットを生成しました。このデータセットは、異なる視点、照明条件、植物形態をカバーしており、実際の温室で発生する可能性のある様々な複雑な状況をシミュレートしています。データセットの生成にはプログラムモデリングツールが使用され、植物の成長段階、器官の形状、環境パラメータを柔軟に調整できるため、多様なトレーニングサンプルを生成できます。手動アノテーションに依存する従来のデータ収集方法と比較して、このアプローチはコストと時間を大幅に削減します。
次に、チームはこの合成データセットを使用して、最新のSegment Anything Model 3（SAM 3）をファインチューニングしました。ファインチューニングの目標は、ゼロショット転送を可能にする一般的なビジュアル事前知識を保持しながら、温室作物器官のテキスト条件付きセグメンテーションタスクに特化させることです。具体的には、自然言語記述（例えば「トマトの果実」や「茎」）に基づいて対応する器官をセグメンテーションできるように、テキストプロンプト機構を採用しました。この設計はセグメンテーションの柔軟性を高めるだけでなく、将来のヒューマン・コンピュータインタラクションアプリケーションの基礎を築きます。
複数の実世界の温室データセットでの評価により、合成データとSAM 3のファインチューニングを組み合わせることで、セグメンテーション性能とモデルの信頼性が大幅に向上することが実証されました。具体的には、茎、葉、果実などの異なる器官の識別とセグメンテーションにおいて、より高い精度とロバスト性を示しました。この方法の有効性は、ベースラインモデルとの比較だけでなく、異なる品種や成長段階のトマト植物に対しても良好な汎化能力を示しました。実験結果は、平均交差結合比（mIoU）やピクセル精度などの複数の指標で大幅な改善を示しました。
コミュニティのベンチマークとさらなる研究を促進するために、研究チームはプログラムによる温室モデル、生成された合成データセット、ファインチューニング済みのSAM 3重みを公開しました。これらのリソースの公開により、他の研究者が実験結果を再現し、その上でより高度な農業ビジョン自動化システムを開発することが可能になります。関連する論文はarXivプラットフォームに提出されており、詳細な実装と実験結果の分析が提供されています。さらに、チームはこのフレームワークを他の作物種に拡張し、より複雑な屋外環境での応用を探求する計画です。