讓你的AI投資獲得良好回報
O'Reilly的Infrastructure & Ops超級流會探討了AI工作負載的基礎設施需求、成本和安全挑戰。DORA報告顯示,AI使程式碼交付量提升約10%,但穩定性下降,驗證成本增加。專家強調平臺工程、治理和認知債務的重要性,建議投資內部平臺以保障AI應用的生產就緒。
文章情報
要點
- AI工具提高了個人生產力,但團隊交付穩定性下降,驗證成本(驗證稅)需要納入考量。
- 良好的流程會被AI放大,糟糕的流程同樣會被放大,組織應主動改善流程而非僅期待技術提升。
- 認知債務成為新挑戰,開發者因多代理工作流頻繁切換上下文,導致共享理解喪失。
- 投資平臺工程是關鍵,平臺可以為AI應用提供生產就緒的護欄,同時降低複雜性。
為什麼重要
這條新聞值得關注,因為AI工具提高了個人生產力,但團隊交付穩定性下降,驗證成本(驗證稅)需要納入考量。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
上週,O'Reilly舉辦了2026年首場Infrastructure & Ops超級流會,主題為“AI時代的平臺工程”。演講嘉賓探討了支援新AI工作負載的一系列話題,這些工作負載具有獨特的基礎設施需求、不可預測的成本以及全新的安全擔憂。谷歌雲的Abdel Sghiouar向觀眾展示了良好的AI平臺應具備的特徵,Cockroach Labs的Jordan Lewis分享了推出企業AI平臺的經驗教訓,Syntasso的Daniel Bryant概述了構建良好平臺的三層模型,技術領導者Sarah Wells討論了治理的重要性及其如何更易於管理,Thoughtworks的Ben O'Mahony解釋了為何評估應成為可觀測性故事的一部分。你可以在此處觀看亮點。
會議以Sam和領導DORA團隊的Nathen Harvey之間的爐邊談話結束。DORA十多年來一直跟蹤軟體交付表現,他們見證了許多技術趨勢。他們的核心問題始終是:團隊能夠以多快、多安全的速度將變更投入生產環境?
AI並沒有改變這個問題,儘管它讓回答變得更加困難。DORA最近釋出了《AI輔助軟體開發的ROI報告》,展示了AI當前如何為團隊工作,以及這對組織的底線有何影響。Nathen利用這些發現深入探討了AI如何改變平臺工程和整個軟體開發。
生產力差距
Sam首先指出了DORA 2025年資料中最大的標題發現之一:組織在實際交付到生產系統的程式碼方面看到了約10%的改進。儘管開發者可能感覺更高效,但這並不自動轉化為生產環境。DORA資料顯示吞吐量提高的同時,穩定性下降。換句話說,團隊交付更多,但也更頻繁地回滾變更或實施修復。個人層面的收益是真實的(10%相當不錯),但這些收益並非“標題中戲劇性的改進”。
AI放大好的流程(也放大壞的)
Nathen解釋說,AI是一個放大器和鏡子,平等地反映好與壞。在變更交付已經很容易的團隊中,AI往往保持良好執行。而在將變更投入生產很痛苦的團隊中,AI生成更多變更,使現有摩擦更加尖銳。不過,他對這一結果的解讀是謹慎樂觀的:“如果痛苦更加尖銳,我們或許會投資於解決這種痛苦。”關鍵在於投資必須真正發生。Nathen指出,在表現較低的組織中,AI工具往往伴隨著期望的重置,而非修復流程的邀請:這是你的新工具。現在我們對你的期望更高了。解決這個問題需要重新定義問題:“AI是否讓人們更有效率?”我們真正應該問的是:“在什麼條件下AI能提高生產力?誰負責創造這些條件?”這取決於組織,而非技術。
驗證不是核取方塊
信任是生成式AI的一大挑戰。約30%的DORA調查受訪者很少或根本不信任AI輸出。約46%的人“有點”信任(Nathen是其中之一)。儘管生成式AI取得了所有進展,這些工具仍然會犯錯,如果你在不擴大驗證能力的情況下增加了程式碼生成能力,你的情況會變得更糟,而不是更好。
Nathen稱之為“驗證稅”,這應屬於對AI生產力影響的任何誠實核算中。管道適應也應包括在內:考慮到你現在試圖推送的變更數量,你的交付管道是否適合目的?這些成本不會出現在關於10倍開發者生產力的標題中。它們會在三個月後的事故報告中顯現。
DORA最近釋出了AI輔助軟體開發的ROI框架和計算器。Nathen明確表示沒有通用的數字,計算器也不假裝有。它所做的就是讓團隊能夠模擬實際成本,包括學習投入、驗證開銷和管道變更需求。
上下文切換與倦怠
隨著生產力的上升,AI引發的倦怠正成為一個嚴峻的問題。(Steve Yegge稱之為“AI吸血鬼”。)DORA 2025年的資料顯示,AI採用與倦怠之間沒有強烈關聯,但需要注意的是,約64%的DORA調查受訪者表示從未在代理式工作流中工作過。這兩個發現很可能在2026年發生顯著變化。
Nathen強調了一種他預計隨著代理成為常態而加劇的倦怠來源:上下文切換。他指出,軟體開發人員花了多年時間爭取受保護的專注時間,以進行需要維持心流的深度工作。現在代理式工作流激勵這些開發人員自願同時執行十多個代理,迫使他們每小時多次切換上下文。他開玩笑說:“有很多研究支援我們都覺得自己是很好的多工處理者,但事實上沒有人是。”後果即將到來,而且是我們自找的。
認知債務問題
Sam Newman提出了相關的“認知債務”概念,特別是Margaret-Anne Storey對此的討論。(參見“生成式和代理式AI如何將關注點從技術債務轉向認知債務”和“從技術債務到認知債務和意圖債務:在AI時代重新思考軟體健康”。)Storey在她的部落格文章中這樣解釋這個問題:
快速行動所積累的債務存在於開發者的頭腦中,影響他們的生活體驗以及“快速行動”或進行更改的能力。即使AI代理生成的程式碼可能易於理解,相關的人可能已經迷失了方向,不明白程式應該做什麼,他們的意圖是如何實現的,或者如何可能更改它。
正如Sam所指出的,這會在團隊和組織中累積。隨著開發者越來越多地並行與AI而不是彼此協作,他們失去了人與人共同構建軟體所帶來的共享理解。Kent Beck曾說過“軟體設計是人類關係的練習”。代理式工作流正以我們才剛剛開始看到的方式對此施加壓力。
Nathen同意認知債務是他最擔心的地方,你的員工和你的架構都會因此受苦。理解你在八個月前做出的架構決策的後果需要多年的運營才能浮現,而AI對此毫無幫助。
現在就投資你的平臺
考慮到是什麼讓一些AI輔助團隊成為高績效者,Nathen解釋說:“不是你使用了AI,而是你如何使用AI。”這一觀察促使DORA開發了七個能力,當與AI採用相結合時,能帶來更好的結果。Nathen簡要列出了這些能力,最後提到了高質量的內部平臺。他在這裡做了一個關於軟體工程投資的論斷,用他自己的話說,“有點瘋狂”:
你組織中每一位產品工程師,每一位目前專注於構建功能的工程師,可能都應該停止構建功能,而專注於平臺。
他的論點是,在AI使組織中幾乎任何人都能構建東西的環境中,平臺變得更加重要,而不是更不重要。最接近客戶和業務問題的人現在可以生成可工作的軟體。但他們無法確保該軟體是持久的、安全的、生產就緒的。
Nathen建議,今天軟體工程投資的最佳槓桿可能是構建提供這些護欄的平臺,將生產就緒的複雜性下沉到基礎設施中,這樣任何在其上構建的人都能免費獲得安全網。他承認將所有產品工程師轉移到平臺工作可能有點過度。但方向是真實的。正如Newman指出的,平臺也是你將確定性帶回AI使過程更加不確定的地方。
我們在O'Reilly經常聽到這一點。誰能構建的擴充套件並不會減少對深厚工程專業知識的需求。它改變了這些專業知識最有價值的地方,而平臺是一個很好的答案。
DORA的研究告訴我們什麼
表現良好的團隊正在執行實驗、從中學習,並傳播這些經驗教訓。Nathen建議的衡量標準不是你消耗了多少令牌,而是你執行了多少實驗以及你如何有效地分發你學到的東西。
工具發展得足夠快,任何圍繞特定工具鎖定固定政策的組織都會發現自己陷入困境。你需要的是保持學習的能力,這意味著建立使學習可見且可轉移的文化和過程。
DORA的所有研究都可以在dora.dev上免費獲取,包括2025年年度報告和ROI框架。DORA社群為實踐者提供了共同探討這些問題的空間。如果你正在與你的團隊一起應對這些問題,你可能想在那裡花些時間。
如果你想深入瞭解Nathen和Sam的對話或探索其他環節,可以觀看O'Reilly學習平臺上整個Infrastructure & Ops超級流會。我們的下一場活動將在9月9日舉行,主題是代理式可觀測性。在此免費註冊,並檢視O'Reilly上所有其他免費直播活動。