NVIDIA发布DeepStream 9.1：为视觉AI带来13项技能和多视角3D追踪的智能体AI

NVIDIA近日发布了DeepStream 9.1版本，旨在解决视频分析中的一个长期难题：跨多个摄像头追踪同一对象通常需要手动校准和复杂的计算。DeepStream 9.1通过两项新增功能应对这一挑战：多视角3D追踪（MV3DT）和AutoMagicCalib（AMC）。这两项功能均作为编码代理的智能体技能提供，从而加速了从概念到运行管道的开发流程。

DeepStream是NVIDIA基于AI的视频和图像理解流式分析工具包，提供基于GStreamer的框架，支持在NVIDIA GPU上进行多流、多模型推理。管道结合了硬件加速的解码和编码、TensorRT推理、对象追踪以及消息代理集成。9.1版本在此基础上增加了五项重要内容：13个用于编码代理的智能体技能、MV3DT跨摄像头追踪技能、AMC自动校准技能、NVIDIA JetPack 7.2对Jetson Orin和Thor边缘设备的支持，以及一个统一的GitHub开源仓库（采用CC-BY-4.0和Apache-2.0许可证）。

MV3DT是此次更新的核心技能。其工作流程分为四个阶段：首先，每个摄像头流运行对象检测器，支持PeopleNetTransformer（默认）、PeopleNet v2.6.3和RT-DETR 2D三种模型。随后，通过单目3D感知，利用YAML校准文件中的3×4投影矩阵，基于地面假设将2D边界框反投影到3D世界坐标。接着，多视角关联阶段通过MQTT协议共享轨迹，当两个摄像头观察到同一人时，根据3D空间中的邻近度匹配轨迹。最后，结果以三种形式输出：平铺网格显示的2D和3D边界框（OSD）、俯视图轨迹图（BEV）以及通过Kafka消息传递的每帧protobuf元数据（包含传感器ID、对象ID和3D边界框）。

AutoMagicCalib（AMC）则解决了摄像头校准的痛点。它通过分析现有视频文件或流中的追踪对象，自动估计每个摄像头的内参（焦距、主点、镜头畸变）和外参（旋转、平移、世界位置）。其管道包括五个阶段：每摄像头轨迹提取、单视图校正、多视图轨迹匹配、光束法平差以及可选的VGGT优化。AMC作为微服务运行，提供REST API和Web界面，用户只需提供布局图像和少量对齐点。

在智能体技能工作流程方面，用户无需编辑配置文件，而是通过自然语言描述意图。这些技能可与Claude Code、Codex、Cursor等代理配合使用。设置步骤简单：克隆GitHub仓库，将技能复制到代理的技能目录，然后通过一条提示即可运行参考应用，例如“deploy mv3dt on the 12-camera sample dataset”。MV3DT技能会自动验证前提条件、拉取容器、安装Kafka和Mosquitto代理服务、下载模型权重、生成管道配置并启动追踪。若校准文件缺失，会自动触发AMC技能。

与9.0版本相比，9.1在智能体技能数量（从2个增至13个）、多摄像头3D追踪、自动校准、Jetson支持、示例数据集（新增4摄像头和12摄像头MV3DT集）以及分发方式（统一GitHub仓库）上均有显著提升。实际用例包括仓库安全（跨过道追踪叉车附近工人）、零售分析（无重识别错误地追踪顾客停留时间）、智能建筑监控（跨楼层统计占用率）以及机器人和智慧城市（共享一致的世界坐标）。

总之，DeepStream 9.1通过13个智能体技能使编码代理能够从自然语言提示构建多摄像头视觉管道；MV3DT将每摄像头检测融合到共享3D世界，保持全局一致的对象ID；AMC通过现有视频自动估计内外参，无需手动校准；JetPack 7.2支持扩展到Jetson Orin和Thor；输出流包括OSD、BEV和Kafka protobuf元数据，便于下游分析和仪表板集成。