NVIDIA DeepStream 9.1リリース：13のスキルとマルチビュー3DトラッキングでビジョンAIにエージェンティックAIをもたらす

NVIDIAはDeepStream 9.1をリリースしました。このアップデートは、ビデオ分析における永続的な問題、すなわち複数のカメラにわたる単一オブジェクトの追跡には通常、手動キャリブレーションと複雑な計算が必要であるという問題に対処します。DeepStream 9.1は、Multi-View 3D Tracking（MV3DT）とAutoMagicCalib（AMC）という2つの追加機能でこれに応えます。どちらもコーディングエージェント向けのエージェンティックスキルとして提供され、開発者はコンセプトから実行可能なパイプラインまでをより迅速に移行できます。

DeepStreamは、NVIDIAのAIベースのビデオおよび画像理解のためのストリーミング分析ツールキットです。GStreamerベースのフレームワークを提供し、NVIDIA GPU上でマルチストリーム、マルチモデル推論を実現します。パイプラインは、ハードウェアアクセラレーションによるデコードとエンコード、TensorRT推論、オブジェクトトラッキング、メッセージブローカー統合を組み合わせます。バージョン9.1では、コーディングエージェント向けの13のエージェンティックスキル、MV3DTスキル、AMCスキル、Jetson OrinおよびThorエッジデバイス向けのNVIDIA JetPack 7.2サポート、そしてCC-BY-4.0およびApache-2.0ライセンスの下での統一されたGitHubオープンソースリポジトリという5つの注目すべきアイテムが追加されました。

MV3DTは主要なスキルです。そのデータフローは4段階で実行されます。検出段階では、各カメラストリームがオブジェクト検出器を実行します。MV3DTはPeopleNetTransformer（デフォルト）、PeopleNet v2.6.3、RT-DETR 2Dの3つのモデルを標準でサポートします。次に、単眼3D知覚段階では、各カメラがYAMLキャリブレーションファイルに保存された3×4投影行列を使用し、地面仮定を用いて2Dバウンディングボックスを3Dワールド空間座標に逆投影します。その後、マルチビューアソシエーション段階では、トラッカーがMQTT（Message Queuing Telemetry Transport）を使用してトラックレットを共有します。2つのカメラが同じ人物を観測すると、3Dワールド空間での近接性によってトラックレットをマッチングします。最後に、結果は3つの形式で出力されます。オンスクリーンディスプレイ（OSD）は2Dおよび3Dバウンディングボックスをタイルグリッドで表示し、俯瞰図（BEV）はトップダウンの軌跡マップをレンダリングし、KafkaメッセージングはセンサーID、オブジェクトID、3Dバウンディングボックスを含むフレームごとのprotobufメタデータを配信します。

AutoMagicCalib（AMC）は、手動キャリブレーションの必要性を排除します。既存のビデオファイルまたはストリーム内の追跡オブジェクトを分析することで、ネットワークをキャリブレーションします。各カメラの内部パラメータ（焦点距離、主点、レンズ歪み）と外部パラメータ（回転、並進、ワールド位置）を推定します。内部的には、パイプラインはカメラごとの軌跡抽出、単一ビュー補正、マルチビュートラックレットマッチング、バンドル調整、オプションのVGGT（Visual Geometry Grounded Transformer）リファインメントの5段階で実行されます。AMCはREST APIとWebインターフェースを備えたマイクロサービスとして実行され、ユーザーはレイアウト画像といくつかのアライメントポイントを提供するだけで済みます。

エージェンティックスキルのワークフローでは、構成ファイルを編集する代わりに、自然言語で意図を記述します。セットアップは簡単で、GitHubリポジトリをクローンし、スキルをエージェントのスキルディレクトリにコピーし、「deploy mv3dt on the 12-camera sample dataset」のような単一のプロンプトでリファレンスアプリを実行します。MV3DTスキルは、前提条件を検証し、コンテナをプルし、KafkaおよびMosquittoブローカーサービスをインストールし、モデルウェイトをダウンロードし、パイプライン構成を生成し、トラッキングを起動します。キャリブレーションファイルがない場合は、AMCスキルが自動的にトリガーされます。

DeepStream 9.0との比較では、9.1はエージェンティックスキル数（2から13へ）、マルチカメラ3Dトラッキング、自動キャリブレーション、Jetsonサポート、サンプルデータセット（4カメラおよび12カメラMV3DTセット）、配布方法（統一GitHubリポジトリ）で大幅に向上しています。具体的なユースケースとしては、倉庫の安全（フォークリフト近くの作業員を一貫したIDで追跡）、小売分析（再識別エラーなしでの顧客の滞在時間測定）、スマートビル監視（フロア間の占有率カウントとKafkaメタデータのダッシュボードへの供給）、ロボティクスおよびスマートシティ（ナビゲーションとインシデントレビューのための一貫したワールド座標の共有）などが挙げられます。

要約すると、DeepStream 9.1は13のエージェンティックスキルを提供し、コーディングエージェントが自然言語プロンプトからマルチカメラビジョンパイプラインを構築できるようにします。MV3DTはカメラごとの検出を共有3D世界に融合し、ビュー間でグローバルに一貫したオブジェクトIDを維持します。AMCは既存のビデオからカメラの内部および外部パラメータを推定し、手動キャリブレーションを不要にします。JetPack 7.2サポートにより、Jetson OrinおよびThorへの展開が可能になり、統一されたオープンソースGitHubリポジトリが提供されます。出力はOSD、BEV、Kafka protobufメタデータとしてストリーミングされ、ダウンストリームの分析やダッシュボードにすぐに利用できます。