どれだけのラベルが必要か？クロスハビタット海洋種認識のための意思決定フレームワーク

自動画像認識は、手動アノテーションを超えて生態学的モニタリングを拡大するためにますます利用されているが、生態学者は新しいサイトで信頼できる認識を展開するためにどれだけのラベル付け作業が必要かについてのエビデンスに基づくガイダンスを欠いている。Alzayat Saleh氏らによる新たな研究は、海洋生息地間で視覚システムを移行する際のラベル付け作業と認識精度のトレードオフを定量化する意思決定フレームワークを提示する。

このベンチマークは、5つのデータセット、3つの海洋、そして3つの分類群（魚類、サンゴ、無脊椎動物）をカバーし、オーストラリアのグレートバリアリーフやフレンチポリネシアの熱帯サンゴ礁から、デンマークの温帯フィヨルドまでを対象としている。研究者らは、4つの認識モデル（DINOv2、CLIP、ResNet-50、EfficientNet-B4）を4つの適応戦略（線形プロービング、LoRA、ビジュアルプロンプトチューニング、完全ファインチューニング）のもとで評価し、3つのプロトコル（20の礁サイトにわたる生息地内移行（240ラン）、難易度勾配に沿ったデータセット間地理的移行（40ラン）、クラスあたり0～100のラベル付きサンプルを用いた少数ショット適応曲線（648ラン））を実施した。

結果は、凍結された自己教師あり基盤特徴（DINOv2 + 線形分類器、わずか1538のトレーニング可能パラメータ）が、未観測の礁サイトに対して、パラメータ数が4桁も大きい完全ファインチューニングされた畳み込みベースラインと少なくとも同等に汎化することを示した。これらのモデルは種を診断し、生息地に依存しない表現を学習したのに対し、ベースラインモデルは新しいサイトで失敗する生息地固有のショートカットをエンコードしていた。1種あたりわずか10～20枚のラベル付き画像で、新しいサイトでの信頼できる認識を展開するのに十分であり、アノテーション作業を約1桁削減した。

この研究のソリューションは、新しいサイトに拡大するプログラムは、凍結されたオープン基盤モデル（DINOv2）を単純な線形分類器と組み合わせ、1種あたり10～20枚の画像（サイトあたり約1～4時間）のみをアノテーションすることで、信頼できる認識を展開できると述べている。このフレームワークにより、プログラムはサイト、生態系、プラットフォーム全体の期待精度に対してラベル付け作業を計画できるようになる。