ハンズフリーでAIが前進：NVIDIA XR AIがARグラスにエージェントをもたらす

NVIDIAは、XR AIプラットフォームがパブリックベータ版として利用可能になったことを発表しました。これにより、開発者はARグラスやXRデバイス上で動作するマルチモーダルAIエージェントを構築するためのフレームワークを手に入れることができます。これは、AIがチャットボットやコパイロットを超えて物理世界に進出し、実験室、工場、病院などで人間と協働しながら、リアルタイムで環境を理解し、知識にアクセスし、行動を起こすことを意味します。

効果的なエージェントシステムの構築には、モデル、スキル、ツール、エージェントランタイムを統合し、実際の作業を支援する必要があります。XR AIプラットフォームは、以下の4つの中核機能を通じてこの課題に取り組みます。まず、AR/XRデバイスからビデオ、オーディオ、深度、ポーズ、センサーデータを取得します。次に、NVIDIA MetropolisやNVIDIA NeMo Retrieverなどの専用ツールやサービスと接続します。第三に、NVIDIA Nemotron推論モデルやNVIDIA Cosmos Reasonを含む幅広いAIモデルエコシステムをサポートします。最後に、NVIDIA NeMo Agent Toolkitを介してエージェントオーケストレーションとアクセラレーテッドランタイムサービスを提供し、プロトタイプから本番環境への移行を支援します。

実際の応用例として、シーメンスはXR AIとDGX Sparkを組み合わせて、工場技術者が軽量グラスを装着しながらメンテナンス情報を入手し、トラブルシューティングや作業検証を行う方法を研究しています。Rana社はXR AI上に構築されたLabOSシステムを導入し、スタンフォード大学やプリンストン大学の研究室で幹細胞治療や遺伝子編集などの複雑な実験をハンズフリーでガイドしています。ピッツバーグ大学医療センターのSurreality Labは、XR AIを利用して手術チームに状況認識支援を提供し、外科医の視野を遮らずに関連情報を表示するパイプラインを実証しました。

さらに、InnoactiveはXR AIを自動車設計レビューに活用し、チームが没入型ワークフロー中に重要な情報をキャプチャして、空間作業を反復可能なエンタープライズプロセスに変換しています。アトランティックスタジオは、XR AIを使用してタイタニック号の没入型スキャンを観客が音声プロンプトで探索できるようにし、複雑な水中モデルをインタラクティブな空間ストーリーに変えています。

NVIDIA XR AIは、開発者が実験室、工場、病院、没入型環境向けに次世代のAIエージェントを構築するためのライブラリとアクセラレーテッドコンピューティング基盤を提供し、エージェントAIを作業の流れに直接組み込むことを可能にします。詳細はNVIDIAの開発者リソースページをご覧ください。