让你的AI投资获得良好回报
O'Reilly的Infrastructure & Ops超级流会探讨了AI工作负载的基础设施需求、成本和安全挑战。DORA报告显示,AI使代码交付量提升约10%,但稳定性下降,验证成本增加。专家强调平台工程、治理和认知债务的重要性,建议投资内部平台以保障AI应用的生产就绪。
文章情报
要点
- AI工具提高了个人生产力,但团队交付稳定性下降,验证成本(验证税)需要纳入考量。
- 良好的流程会被AI放大,糟糕的流程同样会被放大,组织应主动改善流程而非仅期待技术提升。
- 认知债务成为新挑战,开发者因多代理工作流频繁切换上下文,导致共享理解丧失。
- 投资平台工程是关键,平台可以为AI应用提供生产就绪的护栏,同时降低复杂性。
为什么重要
这条新闻值得关注,因为AI工具提高了个人生产力,但团队交付稳定性下降,验证成本(验证税)需要纳入考量。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
上周,O'Reilly举办了2026年首场Infrastructure & Ops超级流会,主题为“AI时代的平台工程”。演讲嘉宾探讨了支持新AI工作负载的一系列话题,这些工作负载具有独特的基础设施需求、不可预测的成本以及全新的安全担忧。谷歌云的Abdel Sghiouar向观众展示了良好的AI平台应具备的特征,Cockroach Labs的Jordan Lewis分享了推出企业AI平台的经验教训,Syntasso的Daniel Bryant概述了构建良好平台的三层模型,技术领导者Sarah Wells讨论了治理的重要性及其如何更易于管理,Thoughtworks的Ben O'Mahony解释了为何评估应成为可观测性故事的一部分。你可以在此处观看亮点。
会议以Sam和领导DORA团队的Nathen Harvey之间的炉边谈话结束。DORA十多年来一直跟踪软件交付表现,他们见证了许多技术趋势。他们的核心问题始终是:团队能够以多快、多安全的速度将变更投入生产环境?
AI并没有改变这个问题,尽管它让回答变得更加困难。DORA最近发布了《AI辅助软件开发的ROI报告》,展示了AI当前如何为团队工作,以及这对组织的底线有何影响。Nathen利用这些发现深入探讨了AI如何改变平台工程和整个软件开发。
生产力差距
Sam首先指出了DORA 2025年数据中最大的标题发现之一:组织在实际交付到生产系统的代码方面看到了约10%的改进。尽管开发者可能感觉更高效,但这并不自动转化为生产环境。DORA数据显示吞吐量提高的同时,稳定性下降。换句话说,团队交付更多,但也更频繁地回滚变更或实施修复。个人层面的收益是真实的(10%相当不错),但这些收益并非“标题中戏剧性的改进”。
AI放大好的流程(也放大坏的)
Nathen解释说,AI是一个放大器和镜子,平等地反映好与坏。在变更交付已经很容易的团队中,AI往往保持良好运行。而在将变更投入生产很痛苦的团队中,AI生成更多变更,使现有摩擦更加尖锐。不过,他对这一结果的解读是谨慎乐观的:“如果痛苦更加尖锐,我们或许会投资于解决这种痛苦。”关键在于投资必须真正发生。Nathen指出,在表现较低的组织中,AI工具往往伴随着期望的重置,而非修复流程的邀请:这是你的新工具。现在我们对你的期望更高了。解决这个问题需要重新定义问题:“AI是否让人们更有效率?”我们真正应该问的是:“在什么条件下AI能提高生产力?谁负责创造这些条件?”这取决于组织,而非技术。
验证不是复选框
信任是生成式AI的一大挑战。约30%的DORA调查受访者很少或根本不信任AI输出。约46%的人“有点”信任(Nathen是其中之一)。尽管生成式AI取得了所有进展,这些工具仍然会犯错,如果你在不扩大验证能力的情况下增加了代码生成能力,你的情况会变得更糟,而不是更好。
Nathen称之为“验证税”,这应属于对AI生产力影响的任何诚实核算中。管道适应也应包括在内:考虑到你现在试图推送的变更数量,你的交付管道是否适合目的?这些成本不会出现在关于10倍开发者生产力的标题中。它们会在三个月后的事故报告中显现。
DORA最近发布了AI辅助软件开发的ROI框架和计算器。Nathen明确表示没有通用的数字,计算器也不假装有。它所做的就是让团队能够模拟实际成本,包括学习投入、验证开销和管道变更需求。
上下文切换与倦怠
随着生产力的上升,AI引发的倦怠正成为一个严峻的问题。(Steve Yegge称之为“AI吸血鬼”。)DORA 2025年的数据显示,AI采用与倦怠之间没有强烈关联,但需要注意的是,约64%的DORA调查受访者表示从未在代理式工作流中工作过。这两个发现很可能在2026年发生显著变化。
Nathen强调了一种他预计随着代理成为常态而加剧的倦怠来源:上下文切换。他指出,软件开发人员花了多年时间争取受保护的专注时间,以进行需要维持心流的深度工作。现在代理式工作流激励这些开发人员自愿同时运行十多个代理,迫使他们每小时多次切换上下文。他开玩笑说:“有很多研究支持我们都觉得自己是很好的多任务处理者,但事实上没有人是。”后果即将到来,而且是我们自找的。
认知债务问题
Sam Newman提出了相关的“认知债务”概念,特别是Margaret-Anne Storey对此的讨论。(参见“生成式和代理式AI如何将关注点从技术债务转向认知债务”和“从技术债务到认知债务和意图债务:在AI时代重新思考软件健康”。)Storey在她的博客文章中这样解释这个问题:
快速行动所积累的债务存在于开发者的头脑中,影响他们的生活体验以及“快速行动”或进行更改的能力。即使AI代理生成的代码可能易于理解,相关的人可能已经迷失了方向,不明白程序应该做什么,他们的意图是如何实现的,或者如何可能更改它。
正如Sam所指出的,这会在团队和组织中累积。随着开发者越来越多地并行与AI而不是彼此协作,他们失去了人与人共同构建软件所带来的共享理解。Kent Beck曾说过“软件设计是人类关系的练习”。代理式工作流正以我们才刚刚开始看到的方式对此施加压力。
Nathen同意认知债务是他最担心的地方,你的员工和你的架构都会因此受苦。理解你在八个月前做出的架构决策的后果需要多年的运营才能浮现,而AI对此毫无帮助。
现在就投资你的平台
考虑到是什么让一些AI辅助团队成为高绩效者,Nathen解释说:“不是你使用了AI,而是你如何使用AI。”这一观察促使DORA开发了七个能力,当与AI采用相结合时,能带来更好的结果。Nathen简要列出了这些能力,最后提到了高质量的内部平台。他在这里做了一个关于软件工程投资的论断,用他自己的话说,“有点疯狂”:
你组织中每一位产品工程师,每一位目前专注于构建功能的工程师,可能都应该停止构建功能,而专注于平台。
他的论点是,在AI使组织中几乎任何人都能构建东西的环境中,平台变得更加重要,而不是更不重要。最接近客户和业务问题的人现在可以生成可工作的软件。但他们无法确保该软件是持久的、安全的、生产就绪的。
Nathen建议,今天软件工程投资的最佳杠杆可能是构建提供这些护栏的平台,将生产就绪的复杂性下沉到基础设施中,这样任何在其上构建的人都能免费获得安全网。他承认将所有产品工程师转移到平台工作可能有点过度。但方向是真实的。正如Newman指出的,平台也是你将确定性带回AI使过程更加不确定的地方。
我们在O'Reilly经常听到这一点。谁能构建的扩展并不会减少对深厚工程专业知识的需求。它改变了这些专业知识最有价值的地方,而平台是一个很好的答案。
DORA的研究告诉我们什么
表现良好的团队正在运行实验、从中学习,并传播这些经验教训。Nathen建议的衡量标准不是你消耗了多少令牌,而是你运行了多少实验以及你如何有效地分发你学到的东西。
工具发展得足够快,任何围绕特定工具锁定固定政策的组织都会发现自己陷入困境。你需要的是保持学习的能力,这意味着建立使学习可见且可转移的文化和过程。
DORA的所有研究都可以在dora.dev上免费获取,包括2025年年度报告和ROI框架。DORA社区为实践者提供了共同探讨这些问题的空间。如果你正在与你的团队一起应对这些问题,你可能想在那里花些时间。
如果你想深入了解Nathen和Sam的对话或探索其他环节,可以观看O'Reilly学习平台上整个Infrastructure & Ops超级流会。我们的下一场活动将在9月9日举行,主题是代理式可观测性。在此免费注册,并查看O'Reilly上所有其他免费直播活动。