宇宙でのコーディング、AI-XR、そして開発者のための新しいインタラクションパラダイム

JetBrains Researchは最近、人工知能（AI）と拡張現実（XR）がどのようにテクノロジー制作を再形成するかについての研究を発表しました。研究によると、AIの進歩はすでに人とテクノロジーの相互作用の方法を変えつつあり、XRハードウェアは徐々に成熟し、次の大きなインタラクション革命をもたらす可能性があります——これはマウスとウィンドウのパラダイムが確立されてから約60年ぶりのことです。JetBrainsにとって最も興味深い部分はコードの相互作用です。大規模言語モデルはソフトウェア工学に対話形式をもたらし、XRは視線、手、音声、頭の姿勢、身体姿勢、空間コンテキスト、さらには生理信号といった豊富な入力チャネルを提供し、これらすべては特別な研究室を必要としません。

人間とAIの体験（HAX）を強化するために、JetBrainsのHAXチームは13人の上級研究者と実務者に対して半構造化インタビューを実施しました。参加者はケンブリッジ大学、オーフス大学、シュトゥットガルト大学、Metaなどの機関から集まりました。インタビューはテーマ別飽和に達するまで、Braun and Clarke（2006）の6段階アプローチを用いて分析されました。研究は主に3つの質問に焦点を当てました：マルチモーダルAI-XRツールはテッククリエイターのどのような痛みやニーズに対処できるか？どのようなインタラクション技術が最も有望か？そして、そのようなツールを構築する上での主な制約は何か？

研究では150以上の関心事項が特定され、最終的に5つのテーマに集約されました。最初のテーマは、人間がAI-XRシステムに意図をどのように伝えるかに関わり、新しいインタラクションパラダイム、自然なインタラクション、マルチモーダルコンテキストなどのサブカテゴリを含みます。2番目のテーマは、AIが文脈を認識する共創者および仲介者として機能し、XR環境がユーザーを理解し適応できるようにすることについてです。3番目のテーマはXR-AI主流化の障壁に焦点を当て、ハードウェアの制限、コスト、精度、エコシステムの成熟度、およびユーザー体験の問題（酔いや社会的受容性など）を含みます。4番目のテーマはAI-XRが制作方法をどのように変えるかを描き、例えばXRを持続的なワークスペースとして使用したり、ロボットトレーニングのためのサンドボックスとして活用することを挙げています。5番目のテーマはリスクを警告しており、プライバシーのトレードオフ、セキュリティ上の脅威、倫理的問題、テクノロジー依存性などが含まれます。

注目すべき発見の一つは、XRをロボットシミュレーションに使用するというアイデアです。高度に制御された仮想環境にシミュレートされたロボットを置き、豊富な構造化マルチモーダルデータでインタラクションループを作成することで、物理的なインタラクションデータを生成し、現在の言語モデルやビジョンモデルに欠けているものを補うことができます。研究ではまた、コンシューマーグレードのXRハードウェアが急速な世代交代の最中にあることも指摘されています。Apple Vision Pro、PICO、BigScreen Beyond、そしてGoogleのXR BlocksやGeminiのようなプロジェクトが形態と機能の多様化を推進しています。同時に、アイトラッキング、ハンドトラッキング、耳内脳波、筋電図ベースの無音声インターフェースなどの新型センサーが研究室から統合へと移行しつつあります。

多くの課題はあるものの、研究チームは、強力なヘッドセットと前例のない入力帯域幅を組み合わせ、そこにマルチモーダルAIを加えることで、真に新しいものが生まれると考えています。チームはIEEE VR 2026に参加し、XRがもはや単なるグラフィックスやハードウェアの分野ではなく、マルチモーダルインタラクション、AI、倫理が交差する学際的分野であることを確認しました。この研究は、テッククリエイターにとって、未来のヒューマンコンピュータインタラクションの新たな方向性を示しています。