コンピュータビジョンは近年、継続的に発展を続けている分野である。ファーストパーソン視点の技術が進歩するにつれ、この分野には新たな開発の機会が生まれている。複合現実は、物理世界の物体をリアルタイムで表示する仮想環境を実現するものである。そのため、こうした模擬環境におけるユーザーの没入感に配慮する必要があり、望ましい現実にできるだけ近づけようとする取り組みが続いている。
こうした背景のもと、2026年6月2日に投稿された論文は、コックピットを対象とした画像処理の手法を提案している。研究の中心的な課題は画像セグメンテーション、すなわち画像内の前景と背景を識別することであり、これによって仮想画像と実画像の融合を容易にすることを目指す。研究チームはカメラを用いて、ユーザーがCAT793Fオフハイウェイトラックシミュレータを使用している際の実画像を取得し、人工知能技術によってこれらの画像をセグメンテーションする。
手法としては、U-NetとDeepLabV3+という2種類の畳み込みニューラルネットワークアーキテクチャを画像セグメンテーションに適用している。U-Netはエンコーダ・デコーダ構造とスキップ接続で知られ、精細な境界が求められるピクセル単位のセグメンテーションによく用いられる。一方、DeepLabV3+はマルチスケールの特徴抽出とセマンティックセグメンテーションに強みを持つ。研究では両モデルを比較評価し、関連指標で約90%の精度が得られ、その結果に基づいて最良のモデルが特定された。
本論文はAlexandre Leles Sousa氏ら4名の著者によるもので、第25回ブラジル自動制御会議（CBA 2024）で発表され、コンピュータビジョンとパターン認識、およびグラフィックスの分野を扱っている。この研究の意義は、コックピットのセグメンテーションが複合現実の没入体験の鍵となる点にある。実のコックピットにおける前景と背景を正確に分離して初めて、仮想要素を実映像に自然に重ね合わせることができ、シミュレータ訓練のリアリティと有用性を高められる。