NVIDIA釋出DeepStream 9.1：為視覺AI帶來13項技能和多視角3D追蹤的智慧體AI

NVIDIA近日釋出了DeepStream 9.1版本，旨在解決影片分析中的一個長期難題：跨多個攝像頭追蹤同一物件通常需要手動校準和複雜的計算。DeepStream 9.1透過兩項新增功能應對這一挑戰：多視角3D追蹤（MV3DT）和AutoMagicCalib（AMC）。這兩項功能均作為編碼代理的智慧體技能提供，從而加速了從概念到執行管道的開發流程。

DeepStream是NVIDIA基於AI的影片和影像理解流式分析工具包，提供基於GStreamer的框架，支援在NVIDIA GPU上進行多流、多模型推理。管道結合了硬體加速的解碼和編碼、TensorRT推理、物件追蹤以及訊息代理整合。9.1版本在此基礎上增加了五項重要內容：13個用於編碼代理的智慧體技能、MV3DT跨攝像頭追蹤技能、AMC自動校準技能、NVIDIA JetPack 7.2對Jetson Orin和Thor邊緣裝置的支援，以及一個統一的GitHub開源倉庫（採用CC-BY-4.0和Apache-2.0許可證）。

MV3DT是此次更新的核心技能。其工作流程分為四個階段：首先，每個攝像頭流執行物件檢測器，支援PeopleNetTransformer（預設）、PeopleNet v2.6.3和RT-DETR 2D三種模型。隨後，透過單目3D感知，利用YAML校準檔案中的3×4投影矩陣，基於地面假設將2D邊界框反投影到3D世界座標。接著，多視角關聯階段透過MQTT協議共享軌跡，當兩個攝像頭觀察到同一人時，根據3D空間中的鄰近度匹配軌跡。最後，結果以三種形式輸出：平鋪網格顯示的2D和3D邊界框（OSD）、俯檢視軌跡圖（BEV）以及透過Kafka訊息傳遞的每幀protobuf後設資料（包含感測器ID、物件ID和3D邊界框）。

AutoMagicCalib（AMC）則解決了攝像頭校準的痛點。它透過分析現有影片檔案或流中的追蹤物件，自動估計每個攝像頭的內參（焦距、主點、鏡頭畸變）和外參（旋轉、平移、世界位置）。其管道包括五個階段：每攝像頭軌跡提取、單檢視校正、多檢視軌跡匹配、光束法平差以及可選的VGGT最佳化。AMC作為微服務執行，提供REST API和Web介面，使用者只需提供佈局影像和少量對齊點。

在智慧體技能工作流程方面，使用者無需編輯配置檔案，而是透過自然語言描述意圖。這些技能可與Claude Code、Codex、Cursor等代理配合使用。設定步驟簡單：克隆GitHub倉庫，將技能複製到代理的技能目錄，然後透過一條提示即可執行參考應用，例如“deploy mv3dt on the 12-camera sample dataset”。MV3DT技能會自動驗證前提條件、拉取容器、安裝Kafka和Mosquitto代理服務、下載模型權重、生成管道配置並啟動追蹤。若校準檔案缺失，會自動觸發AMC技能。

與9.0版本相比，9.1在智慧體技能數量（從2個增至13個）、多攝像頭3D追蹤、自動校準、Jetson支援、示例資料集（新增4攝像頭和12攝像頭MV3DT集）以及分發方式（統一GitHub倉庫）上均有顯著提升。實際用例包括倉庫安全（跨過道追蹤叉車附近工人）、零售分析（無重識別錯誤地追蹤顧客停留時間）、智慧建築監控（跨樓層統計佔用率）以及機器人和智慧城市（共享一致的世界座標）。

總之，DeepStream 9.1透過13個智慧體技能使編碼代理能夠從自然語言提示構建多攝像頭視覺管道；MV3DT將每攝像頭檢測融合到共享3D世界，保持全域性一致的物件ID；AMC透過現有影片自動估計內外參，無需手動校準；JetPack 7.2支援擴充套件到Jetson Orin和Thor；輸出流包括OSD、BEV和Kafka protobuf後設資料，便於下游分析和儀表板整合。