太空编程、AI-XR 和开发者的新交互范式

JetBrains 研究团队近期发布了一项关于 AI 与扩展现实（XR）如何重塑技术创作的研究。研究指出，AI 的进步已在改变人机交互方式，而 XR 硬件正逐渐成熟，有望成为下一个重大交互革命——这距鼠标和窗口范式的确立已过去约 60 年。对于 JetBrains 而言，最有趣的部分是代码交互：大型语言模型将对话形式引入软件工程，而 XR 则提供了注视、手势、语音、头部姿态、身体姿势、空间上下文乃至生理信号等丰富的输入渠道，所有这些无需专用实验室即可获取。

为了探索 XR 如何增强人机智能体验，JetBrains 的 HAX（Human-AI eXperience）团队对 13 位资深研究人员和从业者进行了半结构化访谈，参与者来自剑桥大学、奥胡斯大学、斯图加特大学和 Meta 等机构。访谈采用六阶段主题分析法，直至达到主题饱和。研究重点关注三个问题：多模态 AI-XR 工具能解决技术创作者的哪些痛点和需求？哪些交互技术最有前景？构建这类工具面临哪些约束？

研究从访谈中识别出超过 150 个兴趣话题，最终聚合成五个主题。第一个主题涉及人类如何向 AI-XR 系统传达意图，包括新交互范式、自然交互、多模态上下文等子类。第二个主题探讨 AI 作为上下文感知的共创者和中介，使 XR 环境理解并适应用户，涉及个性化、注意力引导、环境感知等。第三个主题关注 XR-AI 主流化的障碍，包括硬件限制、成本、精度、生态系统成熟度以及用户体验问题如晕动症和社会接受度。第四个主题描绘 AI-XR 如何改变创作方式，例如将 XR 作为持久工作空间、用于机器人训练等。第五个主题则警示风险，如隐私权衡、安全威胁、伦理问题以及技术依赖性。

一个引人注目的发现是将 XR 用于机器人模拟：在高度受控的虚拟环境中放入模拟机器人，利用丰富结构化的多模态数据创建交互循环，从而生成物理交互数据，弥补当前语言和视觉模型的不足。研究还提到，消费级 XR 硬件正经历快速代际变革，Apple Vision Pro、PICO、BigScreen Beyond 以及谷歌的 XR Blocks 和 Gemini 等项目都在推动形态和功能的多样化。同时，眼动追踪、手势追踪、耳内脑电图、肌电无声语音接口等新型传感器正从实验室走向集成。

尽管挑战重重，研究团队认为，将功能强大的头显与空前广泛的输入带宽相结合，再加入多模态 AI，就能创造出真正新颖的东西。团队参加了 IEEE VR 2026 大会，证实了 XR 已不再是单纯的图形或硬件领域，而是融合了多模态交互、 AI 和伦理的交叉学科。这一研究为技术创作者指明了未来人机交互的新方向。