解放雙手，AI先行：NVIDIA XR AI 為AR眼鏡帶來智能代理

NVIDIA 宣佈其 XR AI 平台現已進入公開測試階段，為開發者提供了一套完整的框架，用於構建能夠在增強現實（AR）眼鏡和擴展現實（XR）設備上運行的多模態 AI 代理。這標誌着 AI 從聊天機器人和副駕駛進一步邁向物理世界，在實驗室、工廠和醫院等場景中與人類協作，實時理解環境、獲取知識並採取行動。

構建有效的代理系統面臨諸多挑戰，這些系統需要集成模型、技能、工具和運行時，以幫助人們完成實際工作。XR AI 平台通過以下四大核心能力應對這些挑戰：首先，它能夠從 AR 和 XR 設備攝取視頻、音頻、深度、姿態和傳感器數據；其次，它連接了 NVIDIA Metropolis、NVIDIA NeMo Retriever 等專用工具與服務；第三，支持包括 NVIDIA Nemotron 推理模型和 NVIDIA Cosmos Reason 在內的廣泛 AI 模型生態；最後，通過 NVIDIA NeMo Agent Toolkit 提供代理編排和加速運行時服務，幫助開發者從原型走向生產。

在實際應用中，多家企業和研究機構已開始利用 XR AI。西門子正在研究如何結合 XR AI 和 DGX Spark，幫助工廠工程師通過輕量級眼鏡獲取維護信息、排查故障並驗證工作。Rana 公司基於 XR AI 構建的 LabOS 系統，為斯坦福大學和普林斯頓大學的實驗室提供實時、免提的實驗指導，涵蓋幹細胞治療和基因編輯等複雜流程。匹茲堡大學醫學中心的 Surreality Lab 則展示了 XR AI 在手術室中的潛力，通過理解外科醫生的視野，在避免視覺干擾的前提下提供上下文相關的協助。

此外，Innoactive 將 XR AI 應用於汽車設計評審中，幫助團隊在沉浸式工作流中捕獲關鍵信息，從而將空間工作轉化為可重複的企業流程。大西洋工作室則利用 XR AI 讓觀眾通過語音交互探索泰坦尼克號的沉浸式掃描模型，將複雜的水下遺址轉化為互動敍事體驗。

NVIDIA XR AI 提供了開發庫和加速計算基礎，使開發者能夠為實驗室、工廠、醫院和沉浸式環境構建新一代 AI 代理，將代理式 AI 直接融入工作流程中。更多詳情可訪問 NVIDIA 開發者資源頁面。