锤子和钉子：AI能为数据分析师做什么，不能做什么

每隔几年，就会出现一项新技术，承诺将彻底改变组织、消除繁琐工作，并让一大批昂贵的人员变得多余。AI，以及驱动其当前热潮的大型语言模型，就是最新的例子。在数据和数据分析领域，相关宣称尤为大胆——据说，经过良好提示的聊天机器人很快将取代分析师。然而，过去一年在一家大型组织内部推广AI工具的经历表明，现实比这更有趣，也更为复杂。

真正有帮助的地方：编写代码

先从有效的地方说起，因为确实有成效。AI工具显著加快了代码编写速度。这一点的重要性超乎想象。在那些尚未构建成熟数据资产（数据模型）的团队中，编码和数据准备本身就是工作——分析师实际花费的时间中，有80%到90%都用在这上面。任何能加速这一过程的东西都是实实在在的生产力提升。

为什么这如此重要？因为区分一个能交付真正价值的数据团队和一个只会烧钱的团队的最大因素，就是其底层数据资产的质量。拥有干净、结构良好的数据模型的团队，其生产效率远高于没有的团队。AI工具可以帮助组织更快地达到这一状态，这确实是一个真正的优势。

AI需要大量数据准备工作，即便如此仍经常出错

关于AI在分析领域更宏大的宣称，集中在它能够回答临时性数据问题的能力上——本质上，就是一个不知疲倦的分析师，全天候可用，能用自然语言查询。这个想法很吸引人，但现实尚未达到。

问题不在于AI无法给出正确答案。有时它能做到，而且做得很好。问题在于一致性。如果没有非常精心构建的数据架构——干净的数据模型、良好的文档、详细的指令——错误率会极高。即使一切就绪，已仔细完成相关工作的公司公布的结果显示，准确率大约为86%。这听起来还算合理，但想想在实际中这意味着什么——六分之一的答案是错的。而且你很可能不知道哪些是错的。你会放心根据一个已知有六分之一（甚至更高）概率出错的信息来做出重大商业决策吗？一个人类分析师如果频繁出错，那将是一个严重的绩效问题。这项技术，如果按照同样的标准来衡量，还不达标。

同样值得指出的是，我们已经有了一种技术，能够以近乎完美的准确性回答业务指标问题，而且从不产生幻觉。它叫做仪表盘。一个构建良好的仪表盘套件能够覆盖利益相关者实际提出的大部分问题，可靠且成本低廉。用AI查询界面取代它的理由，远没有炒作所暗示的那么充分。

为LLM提供足够上下文来分析指标变化，往往比你自己做更费劲

这可以说是AI最令人失望的地方，因为这个用例听起来非常诱人。典型的任务是这样的：生成一份关于某指标表现如何及原因的报告。

在一个成熟的数据环境中，获取数字是直接的——它们已经在你的仪表盘里了，或者你可以快速查询到。困难的部分是评论：解释为什么数字发生了变化。在实践中，这需要参加团队的会议，讨论哪些因素推动了他们的结果，并追踪那些真正知情的人。那些知识存在于人们的头脑中，而不是数据库里。

要让AI有用地写出这种评论，有人必须先以模型可用的形式写下所有这些上下文。而这样做的努力，结果证明与直接自己写报告大致相当。如果没有自动捕获上下文的方法，节省的时间就少得惊人。集成到团队Slack频道和结构化会议记录等工具有所帮助，但这并不完美，而且仍然存在幻觉问题。

你常常得到的结果是，工作做得稍微好一点，但并没有显著加快。模型确实经常能发现人类忽略的东西，尽管总体错误率仍不容忽视；而且它处理撰写中机械部分的能力不错。这些都是实实在在的好处。但那种预测中的分析师工作量大幅减少？尚未实现——至少现在还没有。

结论

AI工具确实为数据工作做出了实际贡献：更快的代码编写、更快的数据资产开发，以及分析写作中的有用草稿助手。这些收益值得拥有。

但它尚未取代优秀分析所需的核心——判断力、背景知识、机构记忆，以及区分正确数字和看似合理却错误数字的能力。那些由销售AI产品的人自信预测的分析师末日并未到来。大多数有经验的分析师可能早就知道不会发生。

正确的方法既不是不加批判的热情，也不是不屑一顾。在能帮助的地方使用这些工具。在它们无效的地方保持清醒。那些做对了的团队，无论是在AI上过度投资还是完全忽视，都将比做得不好的团队表现更出色。