O'Reilly AI & ML Radar

隨著AI編碼代理變得極其熟練，瓶頸已從編寫程式碼轉移到審查程式碼。資料顯示，程式碼變更量、缺陷和審查時間急劇增加。關鍵在於根據具體情境（影響範圍、程式碼壽命、團隊規模）調整審查流程。捕獲代理的推理過程可以減輕審查負擔。

本文探討了大型語言模型中的“U形”上下文丟失問題：模型傾向於忽略上下文中間的資訊。作者介紹了相關研究，並提出了五種實用技術來應對該問題，包括精選上下文、將關鍵資訊置於邊緣、使用短會話等。

文章指出，AI 代理領域正陷入“工具陷阱”，開發者們競相追逐 MCP、AI Skills 等協議，卻忽略了真正的戰略——代理體驗（AX）。作者認為，協議會不斷更迭，而理解代理如何與你的系統互動並最佳化這種體驗，才是長期競爭力的關鍵。文章提出了建立 AX 實踐的五個步驟，並強調 AX 是使用者體驗、開發者體驗的延伸，而非替代。

本文探討了企業智慧體（Agent）架構中普遍存在的“主體漂移”問題：隨著智慧體數量增加和組合，其行動的人類主體身份、許可權和問責鏈逐漸脫節。作者分析了一個退款智慧體示例，展示了身份崩塌、許可權侵蝕和問責消失的級聯效應，並提出瞭解決方案，包括推理級審計和設立“智慧體運營”新職能。

迴圈工程是一種新的編碼代理工作方式，將人工提示替換為設計自動迴圈系統。它包含自動化、工作樹、技能、外掛/聯結器和子代理五個核心元件，外加外部記憶儲存。工具如Codex和Claude Code正在整合類似的原語，子代理將構思與驗證分離，提高了可靠性。

本週，egghead.io聯合創始人John Lindquist與CS Dojo創始人YK Sugi討論了Claude Fable 5的爭議性發布、美國政府指令導致模型下架，以及企業AI支出失控的問題。他們還探討了“克隆浪潮”現象，以及如何透過“原料優於推理”的框架高效構建AI應用。優步因AI預算超支而設定每人每月1500美元的上限，這凸顯了代理迴圈效率低下的問題。

Kubernetes已從容器編排工具演變為事實上的AI平臺，2025年有82%的容器使用者在生成環境中使用它。生成式AI和代理式AI工作負載越來越多地在Kubernetes上執行，CNCF調查和行業例項證明了這一點。網路技能仍然是基礎差距，CNCF推出了新的認證來解決。

許多企業在構建AI代理平臺時低估了其複雜性和長期成本。本文從記憶體、治理、評估和編排四個關鍵元件入手，分析了自建平臺面臨的挑戰，並給出了五條決策前必須回答的問題。

編碼智慧體簡化了AI工作流的構建，但掩蓋了成本的非線性增長。經典最佳化技術如記憶化、剪枝和動態規劃對於避免重複工作和高額成本至關重要。

AI編碼工具生成的程式碼可能不受版權保護、歸僱主所有，或被不可見的開源許可證汙染。本文探討了相關法律問題，包括人類創作要求、僱傭合同權利以及開源許可證汙染風險。

本期節目邀請到前微軟首席研究員、RecoMind創始人Miguel Fierro，探討推薦系統的現狀及其在企業中的重要性。同時，AI佈道師Christina Stathopoulos還總結了Anthropic的發展、負責任AI、Google I/O 2026公告等AI新聞。關鍵見解包括：推薦系統可為企業帶來巨大收入增長，但大多數公司投資不足；真正的銷售代理需要推薦系統，而非簡單的對話代理；負責任AI的討論已從研究圈擴充套件到社會各界。

本文是智慧體工程系列文章的第八篇，探討AI智慧體在複雜多步驟任務中面臨的上下文丟失問題。作者提出了外部化-識別-再水合（ERR）模式，透過將狀態儲存到磁碟檔案、檢測上下文退化、從檔案恢復，幫助智慧體自主應對上下文丟失。文章以歷史比喻（640K記憶體限制）和實際案例（Copilot會話崩潰）說明問題，並詳細介紹了執行連續性和任務連續性兩層狀態的外部化方法。

本文旨在解決AI功能從演示到生產環境中的常見困難，提供實用指南，包括延遲預算、回退設計、質量評估、A/B測試、模型漂移監控、評估框架、優雅降級和提示工程等關鍵環節。

GitHub Copilot於6月1日開始對所有計劃實施基於使用量的計費，揭示了代理式工作流的真實成本。本文分析了令牌消耗、工具設計對成本的影響，並提出了最佳化提示詞和輸出格式的策略，強調了將成本控制納入平臺架構的重要性。

本文基於Paolo Perrone的部落格，更新了2024年版的AI智慧體技術棧圖，介紹了2026年的六層架構：模型與推理、協議與工具、記憶與知識、框架與SDK、評估與可觀測性等。文章強調了MCP協議標準化、推理模型改進、記憶成為一等公民等關鍵變化，並提供了每層的評估建議和誠實觀點。

本週節目中，主持人Andreas Welsch與嘉賓討論了OpenAI進入個人金融領域、元認知在AI輔助工作中的重要性、對Token指標的反感以及前向部署工程師的角色。核心問題：AI行業擅長產出，但尚未明確什麼產出真正有價值。

DJ Patil透過傾聽之旅發現，AI行業承諾的就業前景破裂，學生和工人感到恐懼。他提議建立社群創客空間，並強調組織能力是瓶頸，而非技術。資料基礎設施是競爭優勢，整潔的資料環境讓Devoted Health等公司能快速利用AI。

Anthropic在其安全運營指南中推薦使用EPSS（漏洞利用預測評分系統）來優先處理漏洞，這標誌著前沿AI實驗室首次公開支援預測模型用於防禦。文章探討了網路安全中從列舉到預測的轉變，指出靜態嚴重性評分已無法應對機器規模的問題，並提出了基於機率的優先排序方法、本地背景的重要性以及具體的政策調整建議。

隨著語法變得廉價且豐富，架構控制成為稀缺資源。有效治理始於上游，在生成開始前，意圖、約束和威脅模型塑造智慧體的工作上下文。目標並非更好的提示，而是在構建時邊界防止結構無效的程式碼進入系統。

本文探討了國家追求技術主權的趨勢，以巴西追求醫療主權為例，類比到AI領域。作者認為，去耦的說法過於狹隘，實際上各國尋求的是在保持連線的同時建立自身能力，類似於聯邦制而非分離。開源AI模型、協議和工具是實現主權的重要途徑，但基礎設施層（資料中心、晶片、電網）才是關鍵，因為這些難以複製。文章提出了聯邦化AI的概念，以及為AI時代重建基礎設施的願景。

儘管AI代理的興起讓許多人宣稱軟體即服務（SaaS）時代已經結束，但本文認為，SaaS並未消亡。工作依賴於團隊協作，而AI程式設計目前僅支援個人使用，缺乏共享、協作、測試、版本控制和安全等關鍵功能。SaaS公司可以透過為代理提供API來適應變化，成為資料記錄系統。

本文探討了開源AI策略的侷限性，特別是開放權重模型和開放協議（如MCP）如何被私有參與者捕獲價值。透過分析Anthropic收購Stainless（一家生成SDK和MCP伺服器的初創公司）的案例，說明了開發者體驗層正在被平臺巨頭整合，形成新的護城河。文章強調，開源的影響高度依賴於其依賴關係，需要從生態系統整體視角分析瓶頸。

本文是AI驅動開發系列文章的第七篇，重點討論AI會話中的上下文管理。作者透過個人經歷（Gemini移動應用忘記之前記錄的筆記）引出上下文壓縮問題，並分享了四種實用技巧：將探索與文件編寫分離、使用交接文件而非延續提示、給AI設定驗收標準而非詳細步驟、以及使用規範文件作為不同AI工具之間的橋樑。這些技巧適用於從程式設計到寫作的各種AI使用場景。

O'Reilly的Infrastructure & Ops超級流會探討了AI工作負載的基礎設施需求、成本和安全挑戰。DORA報告顯示，AI使程式碼交付量提升約10%，但穩定性下降，驗證成本增加。專家強調平臺工程、治理和認知債務的重要性，建議投資內部平臺以保障AI應用的生產就緒。

AI編碼智慧體預設走最短路徑完成任務，忽略高階工程師會執行的規範、測試、審查等關鍵步驟。本文作者Addy Osmani的Agent Skills專案旨在為AI智慧體構建類似於高階工程師的腳手架，透過工作流而非散文來引導智慧體。專案包含20個技能，覆蓋軟體開發生命週期的六個階段，並融入谷歌的工程實踐。核心設計原則包括：流程重於散文、反合理化表格、驗證不可協商、漸進式披露和範圍紀律。文章還提供了三種使用模式，並強調了即使不安裝專案也可借鑑的模式。

AI智慧體跨系統委託任務，但當前架構缺乏針對委託鏈的授權模型，導致幽靈許可權和審計追蹤斷裂等安全漏洞。

一個多世紀以來，企業部門的聲望和預算一直由單一粗獷指標衡量：人頭數。管理500人被視為傑出領導者，管理5人則微不足道。但在AI驅動的聯邦式代理系統中，這種模式不僅過時，甚至成為負擔。本文提出“代理P&L”概念，強調從人頭帝國轉向聯邦式神經系統，透過知識飛地、代理吞吐量和決策溯源等維度重新定義企業價值，並以銀行合規部門為例說明轉型路徑。

當前生產環境中的智慧體缺乏身份、上下文永續性和平臺支援，導致治理和可靠性問題。文章提出了四個關鍵架構方向：智慧體需要獨立身份、通用上下文、持久化執行和平臺化基礎設施。

PocketOS創始人Jeremy Crane在使用Claude進行資料庫維護時，Claude意外刪除了生產資料庫及所有備份。幸虧Railway恢復了資料。事件揭示了許可權過度寬泛、憑證長期有效等系統弱點，而AI只是加速了問題發生。文章強調了最小許可權原則、憑證過期、沙箱隔離、人工確認等改進措施。

企業紛紛利用AI提升生產力，但多數試點專案失敗。文章指出，投資開放標準如Agent Skills、MCP和外掛，可避免廠商鎖定，降低切換成本。透過構建AI製品目錄，組織能將個體知識轉化為可共享的制度化資產，實現跨團隊和智慧體的複用。