太空編程、AI-XR 和開發者的新交互範式

JetBrains 研究團隊近期發佈了一項關於 AI 與擴展現實（XR）如何重塑技術創作的研究。研究指出，AI 的進步已在改變人機交互方式，而 XR 硬件正逐漸成熟，有望成為下一個重大交互革命——這距鼠標和窗口範式的確立已過去約 60 年。對於 JetBrains 而言，最有趣的部分是代碼交互：大型語言模型將對話形式引入軟件工程，而 XR 則提供了注視、手勢、語音、頭部姿態、身體姿勢、空間上下文乃至生理信號等豐富的輸入渠道，所有這些無需專用實驗室即可獲取。

為了探索 XR 如何增強人機智能體驗，JetBrains 的 HAX（Human-AI eXperience）團隊對 13 位資深研究人員和從業者進行了半結構化訪談，參與者來自劍橋大學、奧胡斯大學、斯圖加特大學和 Meta 等機構。訪談採用六階段主題分析法，直至達到主題飽和。研究重點關注三個問題：多模態 AI-XR 工具能解決技術創作者的哪些痛點和需求？哪些交互技術最有前景？構建這類工具面臨哪些約束？

研究從訪談中識別出超過 150 個興趣話題，最終聚合成五個主題。第一個主題涉及人類如何向 AI-XR 系統傳達意圖，包括新交互範式、自然交互、多模態上下文等子類。第二個主題探討 AI 作為上下文感知的共創者和中介，使 XR 環境理解並適應用户，涉及個性化、注意力引導、環境感知等。第三個主題關注 XR-AI 主流化的障礙，包括硬件限制、成本、精度、生態系統成熟度以及用户體驗問題如暈動症和社會接受度。第四個主題描繪 AI-XR 如何改變創作方式，例如將 XR 作為持久工作空間、用於機器人訓練等。第五個主題則警示風險，如隱私權衡、安全威脅、倫理問題以及技術依賴性。

一個引人注目的發現是將 XR 用於機器人模擬：在高度受控的虛擬環境中放入模擬機器人，利用豐富結構化的多模態數據創建交互循環，從而生成物理交互數據，彌補當前語言和視覺模型的不足。研究還提到，消費級 XR 硬件正經歷快速代際變革，Apple Vision Pro、PICO、BigScreen Beyond 以及谷歌的 XR Blocks 和 Gemini 等項目都在推動形態和功能的多樣化。同時，眼動追蹤、手勢追蹤、耳內腦電圖、肌電無聲語音接口等新型傳感器正從實驗室走向集成。

儘管挑戰重重，研究團隊認為，將功能強大的頭顯與空前廣泛的輸入帶寬相結合，再加入多模態 AI，就能創造出真正新穎的東西。團隊參加了 IEEE VR 2026 大會，證實了 XR 已不再是單純的圖形或硬件領域，而是融合了多模態交互、 AI 和倫理的交叉學科。這一研究為技術創作者指明瞭未來人機交互的新方向。