ハンマーと釘：データアナリストにとってAIができることとできないこと

数年ごとに、新しいテクノロジーが同じ約束を掲げて登場します。すなわち、組織を変革し、雑務を排除し、高額な人材のカテゴリー全体を不要にするというものです。AI、そしてその現在の盛り上がりを牽引する大規模言語モデルは、その最新の例です。データと分析の分野では、その主張は特に大胆で、適切にプロンプトされたチャットボットがまもなくアナリストに取って代わると言われています。大規模組織で昨年1年間AIツールを展開してきた経験から言えば、現実はそれよりも興味深く、またより複雑です。

真に役立つ分野：コード作成

まず、うまく機能する点から始めましょう。なぜなら、確かに効果があるからです。AIツールはコード作成を大幅に高速化しました。これは一見した以上に重要です。まだ成熟したデータ資産（データモデル）を構築していないチームでは、コーディングとデータ準備が仕事そのものです。アナリストが実際に費やす時間の80～90%を占めます。これをスピードアップできるものはすべて、意味のある生産性向上です。

なぜこれがそれほど重要なのでしょうか？真の価値を提供するデータチームと単にコストがかかるだけのチームを分ける最大の要因は、基礎となるデータ資産の品質だからです。クリーンで構造化されたデータモデルを持つチームは、そうでないチームよりも劇的に生産性が高くなります。AIツールは組織がその状態により早く到達するのを助けることができ、それは真のアドバンテージです。

AIにはデータの事前準備が大量に必要であり、それでも間違えることが多すぎる

分析におけるAIのより大きな主張は、アドホックなデータ質問に答える能力に焦点を当てています。つまり、実質的には、24時間体制で利用可能で、平易な英語で問い合わせられる疲れを知らないアナリストです。このアイデアは魅力的ですが、現実はまだそこに達していません。

問題はAIが正しい答えを得られないことではありません。時には正しく、うまく答えます。問題は一貫性です。非常に注意深く構築されたデータアーキテクチャ（クリーンなモデル、適切なドキュメント、詳細な指示）がなければ、エラー率は極めて高くなります。そして、それらがすべて整っていても、この作業を注意深く行った企業の公表結果によれば、精度は約86%です。これは妥当に聞こえますが、実際に何を意味するか考えてみてください。6つの答えのうち1つは間違っています。そして、どれが間違っているかはおそらくわかりません。重大なビジネス上の意思決定を、少なくとも6分の1の確率（それ以上の場合もある）で間違っている可能性がある情報に基づいて行っても大丈夫でしょうか？人間のアナリストがそれほど頻繁に間違えるとしたら、それは深刻な業績問題です。このテクノロジーは、同じ基準で評価すれば、合格点には達しません。

また、ビジネス指標の質問にほぼ完璧な精度で答え、決して幻覚を起こさないテクノロジーがすでに存在することも注目に値します。それはダッシュボードと呼ばれています。適切に構築されたダッシュボードスイートは、ステークホルダーが実際に尋ねる質問のほとんどを、信頼性が高く安価にカバーします。それをAIクエリインターフェースで置き換えるという主張は、誇大広告が示唆するほど強力ではありません。

LLMに指標の変化をうまく分析させるために十分なコンテキストを与えることは、自分で作業を行うよりも手間がかかることが多い

これはおそらくAIが最も失望させる点です。なぜなら、このユースケースは非常に魅力的に聞こえるからです。典型的な依頼は次のようなものです。「Xの業績とその理由に関するレポートを作成してほしい」。

成熟したデータ環境では、数値を取得するのは簡単です。それらはすでにダッシュボードにあるか、すぐにクエリできます。難しいのは解説です。つまり、なぜ数値が動いたのかを説明することです。実際には、それはチームが結果を引き起こした要因について話し合う会議に出席し、実際に知っている人を追いかけることを意味します。その知識は人々の頭の中にあり、データベースにはありません。

AIがその解説を有益に書くためには、誰かがまずそのコンテキストをすべて、モデルが使用できる形式で書き留めなければなりません。そして、その労力は、レポートを自分で書くのとほぼ同じであることがわかります。コンテキストを自動的にキャプチャする方法がなければ、節約できる時間は驚くほど少ないです。チームのSlackチャンネルへの統合や構造化された議事録などのツールは役立ちますが、不完全であり、依然として幻覚の問題に悩まされます。

代わりに得られるのは、大幅に速くなるのではなく、少し良くなるだけの作業であることがよくあります。モデルは人間が見落としがちなことをしばしば見つけます（全体的なエラー率は無視できませんが）、また、ドラフト作成の機械的な部分をうまく処理します。これらは確かな利点です。しかし、予測されていたようなアナリストの作業負荷の変革的な削減は実現していません。少なくとも今のところは。

結論

AIツールはデータ作業に実際の貢献をしてきました。コード作成の高速化、データ資産開発の迅速化、分析ライティングにおける有用な下書きアシスタントです。これらの利点は価値があります。

しかし、優れた分析に必要な中核部分、すなわち判断力、文脈知識、組織知、そして正しい数字ともっともらしく見える間違った数字を見分ける能力を置き換えるには至っていません。AI製品を販売する人々によって自信満々に予測されたアナリストの仕事終焉は到来していません。経験豊富なアナリストのほとんどは、おそらくそうならないとわかっていたでしょう。

正しいアプローチは、無批判な熱狂でも軽視でもありません。ツールが役立つところでは使い、役立たないところでは冷静に見極めることです。これを正しく行うチームは、AIに過剰投資するか完全に無視するかにかかわらず、そうでないチームよりも優れたパフォーマンスを発揮するでしょう。