AI News HubLIVE
站内改写2 分钟阅读

用于快速AI和XR原型开发的JavaScript库

XR Blocks是谷歌XR实验室开发的一款轻量级、跨平台的JavaScript库,基于three.js构建,旨在快速原型化高级XR和AI体验。它支持手部追踪与手势识别、世界理解、与Gemini的AI集成,并提供一个强大的桌面模拟器。该库针对Android XR(如Galaxy XR)上的Chrome v136+进行了优化,支持WebXR,并强调用户中心和开发者友好的设计。

来源Hacker News AI作者: arbayi

XR Blocks 是谷歌 XR 实验室推出的一款开源 JavaScript 库,旨在加速人工智能(AI)与扩展现实(XR)融合体验的原型开发。该库基于 three.js 构建,轻量且跨平台,针对 Android XR 设备(如 Galaxy XR)上的 Chrome v136 及以上版本进行了优化,并支持 WebXR。开发者还可以利用其强大的桌面模拟器在普通浏览器中进行开发,模拟器支持自动化模式,便于远程测试。

核心功能包括:

  • 手部追踪与手势识别:支持高级手部追踪,可集成 TensorFlow Lite 或 PyTorch 模型实现自定义手势,并提供了捏合、手掌张开、握拳、竖拇指、指向和五指张开等内置手势检测。开发者可通过 options.enableGestures() 启用手势识别,并监听 gesturestartgestureupdategestureend 等事件。
  • 世界理解:通过深度感知、几何感知物理引擎和物体识别(支持 Gemini)来理解环境,同时适用于 XR 与桌面模拟器。
  • AI 集成:无缝连接 Gemini,实现多模态理解和实时对话式交互,为 XR 体验注入智能。
  • 跨平台部署:一次编写,即可部署到 XR 设备和桌面 Chrome 浏览器,极大降低了开发成本。

使用 XR Blocks 非常简单,只需通过 importmap 引入库,即可快速创建 XR 场景。官方提供了丰富的示例和模板,包括一个名为“Gem”的快速原型工具,开发者可通过博客文章和视频了解详情。

开发指南方面,项目托管在 GitHub,克隆后运行 npm ci 即可安装依赖并构建 SDK。支持通过 npm run serve 启动本地服务器查看示例,或使用 npm run dev 同时启动监视模式和本地服务。代码质量方面,项目使用 ESLint 和 Prettier 进行检查与格式化。

需要特别注意的是一系列安全和隐私问题。该项目并非谷歌官方产品,但由 XR Labs 团队积极维护。使用 WebXR、LiteRT(如深度感知、手势识别)时,所有数据在本地设备上处理。若使用 Gemini AI 功能,数据将被发送至 Gemini 服务器,需遵循其隐私政策。API 密钥必须妥善保管,切勿提交至源代码控制或暴露在客户端代码中,以防被滥用。

XR Blocks 以 Apache-2.0 许可开源,欢迎社区贡献。相关研究论文可在 arXiv 上获取(如 Li 等 2025 年的论文及 Du 等 2026 年的论文)。更多信息可访问其官方网站 xrblocks.github.io。