AI News HubLIVE
站内改写2 分で読了

PhoneHarness：GUI、CLI、ツールアクションを混在させたスマートフォンエージェントの活用

PhoneHarnessは、検証可能なモバイルワークフローにおけるスマートフォンエージェントを研究するための混合アクションベンチマークおよび実行ハーネスです。GUI、CLI、ホスト側ツールアクションを統合し、75.0%の合格率を達成、非PhoneHarness設定を12.9ポイント上回り、アクションサーフェスルーティングと検証可能な実行の重要性を示しています。

ソースarXiv Computational Linguistics著者: Chenxin Li, Zhengyao Fang, Zhengyang Tang, Pengyuan Lyu, Xingran Zhou, Xin Lai, Fei Tang, Liang Wu, Yiduo Guo, Weinong Wang, Junyi Li, Yi Zhang, Yang Ding, Huawen Shen, Sunqi Fan, Shangpin Peng, Zheng Ruan, Anran Zhang, Benyou Wang, Chengquan Zhang, Han Hu

最近、arXivに「PhoneHarness：GUI、CLI、ツールアクションを混在させたスマートフォンエージェントの活用」と題する論文が投稿されました。この研究はChenxin Liら21名の著者によるもので、スマートフォンエージェントを単なる画面予測から実際のワークフロー実行へと進化させることを目的とした、PhoneHarnessと呼ばれる混合アクションベンチマークと実行ハーネスを提案しています。

従来のモバイルエージェント研究は主にグラフィカルユーザーインターフェース（GUI）制御に焦点を当て、画面を観察してタップやスワイプを行い、目標のアプリ状態で評価するものでした。しかし、実際のスマートフォン使用タスクはより広範で、アプリGUI、デバイス側コマンド、構造化ツールのいずれを使用すべきかを判断し、意図した副作用が実際に発生したという証拠を残す必要があります。PhoneHarnessはこの課題に取り組むために設計されました。

PhoneHarnessは、デバイス側のエージェントループを介してGUI、コマンドラインインターフェース（CLI）、ホスト側ツールアクションを統合し、決定論的なアクションルーティング、制限付きGUI委任、監査可能な実行トレースを組み合わせます。そのベンチマークであるPhoneHarness Benchは、エージェントがもっともらしい最終回答を生成するだけでなく、観測可能な副作用を伴うタスクを実際に完了できるかを評価します。

実験結果によると、注釈付き評価分割において、PhoneHarnessは75.0%の合格率を達成し、最も強力な非PhoneHarness設定を12.9ポイント上回りました。研究者は、PhoneHarnessとPhoneHarness Benchは異なるが相互依存的役割を果たし、ハーネスが混合スマートフォンワークフローを実行可能にし、ベンチマークがエージェントがそのハーネスを信頼性高く安全に使用できるかを測定すると述べています。

この研究は、信頼性の高いスマートフォン自動化には、視覚的なGUI制御だけでなく、アクションサーフェスルーティングと検証可能な実行が不可欠であることを示唆しています。この発見は、将来のスマートフォンエージェント設計に重要な指針を提供し、より実用的で信頼性の高いモバイル自動化システムの開発を促進する可能性があります。