錘子和釘子：AI能為數據分析師做什麼，不能做什麼

每隔幾年，就會出現一項新技術，承諾將徹底改變組織、消除繁瑣工作，並讓一大批昂貴的人員變得多餘。AI，以及驅動其當前熱潮的大型語言模型，就是最新的例子。在數據和數據分析領域，相關宣稱尤為大膽——據説，經過良好提示的聊天機器人很快將取代分析師。然而，過去一年在一家大型組織內部推廣AI工具的經歷表明，現實比這更有趣，也更為複雜。

真正有幫助的地方：編寫代碼

先從有效的地方説起，因為確實有成效。AI工具顯著加快了代碼編寫速度。這一點的重要性超乎想象。在那些尚未構建成熟數據資產（數據模型）的團隊中，編碼和數據準備本身就是工作——分析師實際花費的時間中，有80%到90%都用在這上面。任何能加速這一過程的東西都是實實在在的生產力提升。

為什麼這如此重要？因為區分一個能交付真正價值的數據團隊和一個只會燒錢的團隊的最大因素，就是其底層數據資產的質量。擁有乾淨、結構良好的數據模型的團隊，其生產效率遠高於沒有的團隊。AI工具可以幫助組織更快地達到這一狀態，這確實是一個真正的優勢。

AI需要大量數據準備工作，即便如此仍經常出錯

關於AI在分析領域更宏大的宣稱，集中在它能夠回答臨時性數據問題的能力上——本質上，就是一個不知疲倦的分析師，全天候可用，能用自然語言查詢。這個想法很吸引人，但現實尚未達到。

問題不在於AI無法給出正確答案。有時它能做到，而且做得很好。問題在於一致性。如果沒有非常精心構建的數據架構——乾淨的數據模型、良好的文檔、詳細的指令——錯誤率會極高。即使一切就緒，已仔細完成相關工作的公司公佈的結果顯示，準確率大約為86%。這聽起來還算合理，但想想在實際中這意味着什麼——六分之一的答案是錯的。而且你很可能不知道哪些是錯的。你會放心根據一個已知有六分之一（甚至更高）概率出錯的信息來做出重大商業決策嗎？一個人類分析師如果頻繁出錯，那將是一個嚴重的績效問題。這項技術，如果按照同樣的標準來衡量，還不達標。

同樣值得指出的是，我們已經有了一種技術，能夠以近乎完美的準確性回答業務指標問題，而且從不產生幻覺。它叫做儀表盤。一個構建良好的儀表盤套件能夠覆蓋利益相關者實際提出的大部分問題，可靠且成本低廉。用AI查詢界面取代它的理由，遠沒有炒作所暗示的那麼充分。

為LLM提供足夠上下文來分析指標變化，往往比你自己做更費勁

這可以説是AI最令人失望的地方，因為這個用例聽起來非常誘人。典型的任務是這樣的：生成一份關於某指標表現如何及原因的報告。

在一個成熟的數據環境中，獲取數字是直接的——它們已經在你的儀表盤裏了，或者你可以快速查詢到。困難的部分是評論：解釋為什麼數字發生了變化。在實踐中，這需要參加團隊的會議，討論哪些因素推動了他們的結果，並追蹤那些真正知情的人。那些知識存在於人們的頭腦中，而不是數據庫裏。

要讓AI有用地寫出這種評論，有人必須先以模型可用的形式寫下所有這些上下文。而這樣做的努力，結果證明與直接自己寫報告大致相當。如果沒有自動捕獲上下文的方法，節省的時間就少得驚人。集成到團隊Slack頻道和結構化會議記錄等工具有所幫助，但這並不完美，而且仍然存在幻覺問題。

你常常得到的結果是，工作做得稍微好一點，但並沒有顯著加快。模型確實經常能發現人類忽略的東西，儘管總體錯誤率仍不容忽視；而且它處理撰寫中機械部分的能力不錯。這些都是實實在在的好處。但那種預測中的分析師工作量大幅減少？尚未實現——至少現在還沒有。

結論

AI工具確實為數據工作做出了實際貢獻：更快的代碼編寫、更快的數據資產開發，以及分析寫作中的有用草稿助手。這些收益值得擁有。

但它尚未取代優秀分析所需的核心——判斷力、背景知識、機構記憶，以及區分正確數字和看似合理卻錯誤數字的能力。那些由銷售AI產品的人自信預測的分析師末日並未到來。大多數有經驗的分析師可能早就知道不會發生。

正確的方法既不是不加批判的熱情，也不是不屑一顧。在能幫助的地方使用這些工具。在它們無效的地方保持清醒。那些做對了的團隊，無論是在AI上過度投資還是完全忽視，都將比做得不好的團隊表現更出色。