AI時代のサポートは荒れている
開発者がAIの幻覚によって引き起こされた奇妙なサポート要求を語る。例えば、ChatGPTが生成した偽のスクリーンショットに基づいて、存在しない機能の復活を求めるユーザーや、MS Copilotが存在しない変換手順を捏造した事例。これらの出来事は、顧客がAIにサポートを依存することのリスクを浮き彫りにしている。
記事インテリジェンス
要点
- 顧客が存在しない機能の復活を求め、ChatGPTが幻覚したスクリーンショットを送ってきた。
- MS Copilotがワンホットエンコーディングの方法を尋ねた際、4つの変換手順のうち3つを捏造した。
- 顧客がサポートにAIを利用するケースが増え、もっともらしい誤情報が広がるリスクがある。
重要な理由
このニュースが重要なのは、顧客が存在しない機能の復活を求め、ChatGPTが幻覚したスクリーンショットを送ってきたためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
先日、あるソフトウェア開発者が、顧客から困惑するメールを受け取りました。そのメールには、「Easy Data Transformのバージョン1.xで利用可能だった、タイムゾーンを変換するオプションを再追加することを検討してください。添付のスクリーンショットをご覧ください」と書かれていました。しかし、開発者のツールにはタイムゾーン変換機能が一度も搭載されたことがなく、これは奇妙な依頼でした。さらに、添付されたスクリーンショットを見て開発者は驚きました。タイトルバーには「Easy Data Transform v1.11.2」と表示されているにもかかわらず、そのインターフェースは自社のソフトウェアとはまったく異なっていたのです。最初は誰かが自社製品を偽装していると思い、検索してみましたが、「Easy Data Transform」という名前の他のソフトウェアは見つかりませんでした。そこで顧客にスクリーンショットの出所を尋ねたところ、「ChatGPTの出力です。幻覚かもしれません」という返事が返ってきました。
なんと、ChatGPTは存在しない機能を捏造しただけでなく、その機能を含むユーザーインターフェースのスクリーンショットまで幻覚していたのです。一見すると本物のスクリーンショットに見えますが、アイコンをよく見ると偽物だとわかります。開発者は実際のインターフェースの画像を提供し、ChatGPTが一部の入力タイプや変換、メニューを正しく認識していたものの、全体としては大きく異なっていることを示しました。
また、開発者はMS Copilotでも同様の幻覚を経験しました。CopilotにEasy Data Transformで「ワンホットエンコーディング」を実行する方法を尋ねたところ、非常に妥当で自信に満ちた回答が返ってきて、必要な変換手順の要約が示されました。しかし、その4つの変換のうち実際に存在するのは1つ（Split Col）だけで、残りの3つは完全な捏造でした。
開発者は、顧客がドキュメントを読んだりフォーラムで質問したりする代わりに、AIに質問を入力するケースが増えていると指摘します。もしAIが迅速かつ正確な回答を提供できれば、忙しい開発者を煩わせずに済むため良いことですが、誤った回答がもっともらしく提示されると、顧客が誤った情報に基づいて行動するリスクがあります。AIがウェブトラフィックを奪うだけでなく、顧客に誤ったサポートアドバイスを与えるのは許しがたいと開発者は述べ、荒れた時代が来ると警告しています。
皮肉なことに、記事の最後で開発者は、タイムゾーン変換とワンホットエンコーディングの機能が最新バージョンのEasy Data Transformで利用可能になったと付け加えています。これは、AIの幻覚が現実の機能追加を促したとも言えるでしょう。