MicrosoftのプレミアムCopilotエージェントにお金を払って仕事を任せてみた——自信満々だが役に立たなかった

マイクロソフトはAI機能に巨額の投資を行っており、データセンターの建設やOpenAI、Anthropicからのライセンス供与、自社モデルの開発を進めている。目標はWindowsとMicrosoft 365を「エージェンティックOS」に変え、社内の面倒な業務を自動化することだ。

しかし、その投資は実を結んでいるのだろうか？私は数週間かけて、Microsoft 365とWindowsのAI機能を日常業務でテストしてみた。Copilotは時折有能さを見せるものの、多くの場合、誤情報や幻覚、時間の浪費で終わった。

最初にAnalystエージェントを試した。家計簿のスプレッドシートを渡し、改善点を尋ねたところ、有益な提案はあったが、ダッシュボードの作成を申し出た後、実際のファイルを生成しようとすると「サンドボックスリンク」（[sandbox:/mnt/data/Personal_accounts_modified.xlsm]）というクリックできないパスを返した。数回の試行の後、Copilotは「チャットインターフェースがファイル添付を正しく表示できていない」と釈明し、Google Sheetsを使ってファイルを作成しリンクを送るという回避策を提案した。これは明らかにマイクロソフトの意図したものではない。

次に、Researcherエージェントに「Microsoft 365 Premium」のメリットとデメリットを尋ねた。ところが、エージェントはその製品名を理解できず、「どのプランを指していますか？（個人版、ファミリー版、ビジネスプレミアム）」と質問を返してきた。リンクを提供すると、外部サイトからまとめた凡庸な回答が返ってきただけだった。

最も苛立たしかったのはトラブルシューティングだ。リモートデスクトップの証明書エラー（サーバー名が証明書に一致しない）に対し、Copilotは「修正は簡単」と断言し、VM内のWindowsに新しいリモートデスクトップ証明書を生成させるPowerShellコマンドを提案。しかし効果がなく、そのたびに「これで正確な原因がわかった」と自信満々に新たな解決策を提示した。20分と6回の再起動の後も問題は解決せず、Copilotは「なぜこれが正しい修正か」などの太字見出しで自信を示し続けた。結局、ユーザーが接続設定の「サーバー証明書を検証する」チェックボックスを一つ外しただけで直った。

いくつかのPowerShellコマンドを学んだものの、このレベルのトラブルシューティングにCopilotを再び使うことはないだろう。汎用人工知能はともかく、今のCopilotには常識すら期待できない。