AIエージェント：誇大広告と現実（2024）

AIエージェントは大きな注目を集めているが、実際の性能は誇大広告とはほど遠い。WebArenaリーダーボードによれば、最高性能のモデルでも現実世界のタスクでの成功率はわずか45.7%に過ぎない。

AIエージェントとは何か？明確な定義はないが、一般的にはタスク実行のために自律的に判断し外部ツールを呼び出す大規模言語モデルとされる。アーキテクチャには、単一の大規模モデルで全体を処理するモノリシック型と、タスクを分割して複数の専門エージェントが担当するマルチエージェント型がある。理論的には無限のコンテキストを持つモノリシック型が理想的だが、現実にはマルチエージェント型がコンテキスト分割による効率低下を伴う。OpenAIの従業員によるHackerNewsのコメントでは、情報が相互に関連する場合やユーザー向けアプリで即時出力が必要な場合は単一の大きなAPI呼び出しが適し、タスクを分解できる場合や外部ロジックが必要な場合には複数のシーケンス呼び出しが適すると述べられている。

実践上の課題は多い。信頼性では、LLMの幻覚や不整合が連鎖的に増幅される。性能とコストでは、GPT-4o、Gemini-2.0、Claude Sonnetはツール使用に優れるが、速度が遅くコストが高い。法的リスクも無視できず、エア・カナダはチャットボットの誤情報で賠償命令を受けた。ユーザーの信頼はブラックボックス的な性質や事例により損なわれやすい。

スタートアップ各社は汎用エージェントを模索中だが、多くは実験段階だ。adept.ai（Amazonに買収）、Runner H、MultiOn、Browserbaseなどが取り組む。大企業もデスクトップやブラウザへのAI統合を進め、Claude Computer Use、Microsoft Copilot Studio、Google DeepMindのProject Marinerなどが登場している。垂直特化型エージェント（プログラミング、カスタマーサポートなど）はドメイン特化により良好な結果を示すが、Devinを除けばまだ限定的である。

総じて、AIエージェントは過大評価されており、ミッションクリティカルな用途には不向きだ。しかし、モデルとアーキテクチャは急速に進化しており、近い将来より実用的な応用が期待される。有望な道筋は、完全自律サービスではなく既存ツールのAI拡張、人間参加型の監視、そして現実的な期待値の設定である。AIエージェントは退屈な反復作業（Webスクレイピング、フォーム入力など）を自動化するが、休暇の完全自律予約などは当面難しいだろう。