NVIDIA發佈DeepStream 9.1：為視覺AI帶來13項技能和多視角3D追蹤的智能體AI

NVIDIA近日發佈了DeepStream 9.1版本，旨在解決視頻分析中的一個長期難題：跨多個攝像頭追蹤同一對象通常需要手動校準和複雜的計算。DeepStream 9.1通過兩項新增功能應對這一挑戰：多視角3D追蹤（MV3DT）和AutoMagicCalib（AMC）。這兩項功能均作為編碼代理的智能體技能提供，從而加速了從概念到運行管道的開發流程。

DeepStream是NVIDIA基於AI的視頻和圖像理解流式分析工具包，提供基於GStreamer的框架，支持在NVIDIA GPU上進行多流、多模型推理。管道結合了硬件加速的解碼和編碼、TensorRT推理、對象追蹤以及消息代理集成。9.1版本在此基礎上增加了五項重要內容：13個用於編碼代理的智能體技能、MV3DT跨攝像頭追蹤技能、AMC自動校準技能、NVIDIA JetPack 7.2對Jetson Orin和Thor邊緣設備的支持，以及一個統一的GitHub開源倉庫（採用CC-BY-4.0和Apache-2.0許可證）。

MV3DT是此次更新的核心技能。其工作流程分為四個階段：首先，每個攝像頭流運行對象檢測器，支持PeopleNetTransformer（默認）、PeopleNet v2.6.3和RT-DETR 2D三種模型。隨後，通過單目3D感知，利用YAML校準文件中的3×4投影矩陣，基於地面假設將2D邊界框反投影到3D世界座標。接着，多視角關聯階段通過MQTT協議共享軌跡，當兩個攝像頭觀察到同一人時，根據3D空間中的鄰近度匹配軌跡。最後，結果以三種形式輸出：平鋪網格顯示的2D和3D邊界框（OSD）、俯視圖軌跡圖（BEV）以及通過Kafka消息傳遞的每幀protobuf元數據（包含傳感器ID、對象ID和3D邊界框）。

AutoMagicCalib（AMC）則解決了攝像頭校準的痛點。它通過分析現有視頻文件或流中的追蹤對象，自動估計每個攝像頭的內參（焦距、主點、鏡頭畸變）和外參（旋轉、平移、世界位置）。其管道包括五個階段：每攝像頭軌跡提取、單視圖校正、多視圖軌跡匹配、光束法平差以及可選的VGGT優化。AMC作為微服務運行，提供REST API和Web界面，用户只需提供佈局圖像和少量對齊點。

在智能體技能工作流程方面，用户無需編輯配置文件，而是通過自然語言描述意圖。這些技能可與Claude Code、Codex、Cursor等代理配合使用。設置步驟簡單：克隆GitHub倉庫，將技能複製到代理的技能目錄，然後通過一條提示即可運行參考應用，例如“deploy mv3dt on the 12-camera sample dataset”。MV3DT技能會自動驗證前提條件、拉取容器、安裝Kafka和Mosquitto代理服務、下載模型權重、生成管道配置並啓動追蹤。若校準文件缺失，會自動觸發AMC技能。

與9.0版本相比，9.1在智能體技能數量（從2個增至13個）、多攝像頭3D追蹤、自動校準、Jetson支持、示例數據集（新增4攝像頭和12攝像頭MV3DT集）以及分發方式（統一GitHub倉庫）上均有顯著提升。實際用例包括倉庫安全（跨過道追蹤叉車附近工人）、零售分析（無重識別錯誤地追蹤顧客停留時間）、智能建築監控（跨樓層統計佔用率）以及機器人和智慧城市（共享一致的世界座標）。

總之，DeepStream 9.1通過13個智能體技能使編碼代理能夠從自然語言提示構建多攝像頭視覺管道；MV3DT將每攝像頭檢測融合到共享3D世界，保持全局一致的對象ID；AMC通過現有視頻自動估計內外參，無需手動校準；JetPack 7.2支持擴展到Jetson Orin和Thor；輸出流包括OSD、BEV和Kafka protobuf元數據，便於下游分析和儀表板集成。