コンピュータ使用エージェント（CUA）は、視覚と制御プリミティブを通じてグラフィカルユーザーインターフェース（GUI）を操作し、その能力はOSWorldなどの標準化されたオンライン評価ベンチマークによって急速に進歩してきました。これらのベンチマークは評価ツールとしてだけでなく、強化学習のトレーニング環境としても機能します。しかし、macOSはこの分野で十分にカバーされていません。唯一の既存ベンチマークであるmacOSWorldは、少数のファーストパーティアプリケーションとより単純なタスクのみをカバーし、Apple Siliconと互換性のないx86仮想マシン上で動作します。
そこで研究チームは、50のアプリケーションにわたる421の手動検証済みタスクからなるベンチマーク、MacArenaを提案しました。これは、厳選されたOSWorldタスクの移植、macOSWorldからのコンテンツ、そして49の新しいmacOSネイティブタスクを組み合わせたもので、すべてApple Silicon上のAppleネイティブ仮想化フレームワークで実行されます。
研究チームは、macOSがLinuxベースのベンチマークでは捉えられない独自のGUI課題を提示していると主張し、評価結果がこれを支持しています。既存のベンチマークで強い性能を示すモデルは、真のクロスプラットフォームGUI能力ではなく、タスク分布への親しみを反映している可能性があります。特筆すべきは、移植タスクとmacOSネイティブタスクの間でモデルのランキングが逆転し、主要モデルがMacArenaサブセットで26%以上遅れをとっていることです。これは、macOSが現在のGUIエージェントにとって本当に難しい環境であることを示唆しています。
この論文は、ICML 2026の「Agents in the Wild: Safety, Security, and Beyond」（AIWILD）ワークショップに採択され、arXiv:2606.06560として2026年6月4日に提出されました。著者はVictor Muryn氏ら4名です。