太空程式設計、AI-XR 和開發者的新互動正規化

JetBrains 研究團隊近期釋出了一項關於 AI 與擴充套件現實（XR）如何重塑技術創作的研究。研究指出，AI 的進步已在改變人機互動方式，而 XR 硬體正逐漸成熟，有望成為下一個重大互動革命——這距滑鼠和視窗正規化的確立已過去約 60 年。對於 JetBrains 而言，最有趣的部分是程式碼互動：大型語言模型將對話形式引入軟體工程，而 XR 則提供了注視、手勢、語音、頭部姿態、身體姿勢、空間上下文乃至生理訊號等豐富的輸入渠道，所有這些無需專用實驗室即可獲取。

為了探索 XR 如何增強人機智慧體驗，JetBrains 的 HAX（Human-AI eXperience）團隊對 13 位資深研究人員和從業者進行了半結構化訪談，參與者來自劍橋大學、奧胡斯大學、斯圖加特大學和 Meta 等機構。訪談採用六階段主題分析法，直至達到主題飽和。研究重點關注三個問題：多模態 AI-XR 工具能解決技術創作者的哪些痛點和需求？哪些互動技術最有前景？構建這類工具面臨哪些約束？

研究從訪談中識別出超過 150 個興趣話題，最終聚合成五個主題。第一個主題涉及人類如何向 AI-XR 系統傳達意圖，包括新互動正規化、自然互動、多模態上下文等子類。第二個主題探討 AI 作為上下文感知的共創者和中介，使 XR 環境理解並適應使用者，涉及個性化、注意力引導、環境感知等。第三個主題關注 XR-AI 主流化的障礙，包括硬體限制、成本、精度、生態系統成熟度以及使用者體驗問題如暈動症和社會接受度。第四個主題描繪 AI-XR 如何改變創作方式，例如將 XR 作為持久工作空間、用於機器人訓練等。第五個主題則警示風險，如隱私權衡、安全威脅、倫理問題以及技術依賴性。

一個引人注目的發現是將 XR 用於機器人模擬：在高度受控的虛擬環境中放入模擬機器人，利用豐富結構化的多模態資料建立互動迴圈，從而生成物理互動資料，彌補當前語言和視覺模型的不足。研究還提到，消費級 XR 硬體正經歷快速代際變革，Apple Vision Pro、PICO、BigScreen Beyond 以及谷歌的 XR Blocks 和 Gemini 等專案都在推動形態和功能的多樣化。同時，眼動追蹤、手勢追蹤、耳內腦電圖、肌電無聲語音介面等新型感測器正從實驗室走向整合。

儘管挑戰重重，研究團隊認為，將功能強大的頭顯與空前廣泛的輸入頻寬相結合，再加入多模態 AI，就能創造出真正新穎的東西。團隊參加了 IEEE VR 2026 大會，證實了 XR 已不再是單純的圖形或硬體領域，而是融合了多模態互動、 AI 和倫理的交叉學科。這一研究為技術創作者指明瞭未來人機互動的新方向。