画像のぼけ除去はコンピュータビジョンにおける古典的な問題であり、高品質なぼけ・鮮明画像ペアは学習ベースのぼけ除去モデルの訓練に不可欠です。しかし、合成ぼけ画像は現実感に欠ける一方、実世界で撮影された画像ペアは複雑で柔軟性に欠けるカメラシステムを必要とします。この課題に対し、研究チームはGS-RealBlurフレームワークを提案し、ぼけの現実性とデータ収集の柔軟性を両立させました。
GS-RealBlurでは、ハンドヘルドカメラでぼけ画像を撮影し、同時にジンバルを用いて同じシーンの鮮明画像を密に取得します。次に、鮮明画像群からシーンの3D表現を再構築し、各ぼけフレームのカメラポーズをこの3D空間内で較正します。ポーズに従って3D表現からレンダリングされた画像が、対応する鮮明参照画像となります。レンダリング画像とぼけ画像の位置合わせをさらに改善するため、ぼけ認識ポーズ洗練モジュール（BPR）を導入し、見た目の一貫性と重心制約を用いてポーズを精密化します。このモジュールにより、ぼけに起因するポーズ誤差が効果的に低減され、より正確な鮮明参照画像が生成されます。
GS-RealBlurを活用して、研究チームは多様なシーンと動きパターンを含む高品質なデータセットを構築しました。広範な実験により、このデータセットで訓練されたぼけ除去モデルは、さまざまな実世界のぼけ除去ベンチマークにおいて優れた汎化性能を達成し、既存の合成データセットや実世界データセットで訓練されたモデルを一貫して上回ることが示されました。コードとデータセットは公開される予定で、画像ぼけ除去研究の強力なツールとなります。研究者らは、GS-RealBlurがデータ収集の柔軟性問題を解決するだけでなく、モデルの汎化能力を向上させ、ぼけ除去技術の実用化を促進すると期待しています。