本文探討了如何借鑑傳統軟件測試的思路,為AI Agent編寫有效的評估(eval),以構建可預測且對齊良好的智能體。作者提出了評估金字塔:單元評估、集成評估和端到端評估,並詳細介紹了每種評估的目標、方法及設計評分規則(rubric)的技巧。
AI 新聞即時情報
即時監測
即時更新
即時追蹤可信來源,保留出處、權限和站內閱讀模式,把噪音壓成可讀情報。
即時更新
2026-05-17
Vercel Labs 發佈實驗性系統編程語言 Zero,其編譯器輸出結構化 JSON 診斷、穩定錯誤碼和修復元數據,支持基於能力的安全 I/O,編譯至小於 10 KiB 的原生二進制文件,專為 AI 代理工作流設計。
2ality博客作者Axel Rauschmayer宣佈,由於AI爬蟲導致流量激增但無廣告收入,同時書籍銷量歸零,決定暫時關閉博客和免費書籍以應對AI公司竊取其作品的行為。
澳大利亞科技企業家通過AI生成總理阿爾巴尼斯作為“新創始人”的圖片,抗議資本利得税改革,警告可能將初創企業推向海外。政府正考慮對初創企業進行豁免。
Codec是一種新型協議,通過在網絡傳輸中保持令牌ID格式,避免反覆的解令牌化和重新令牌化,從而大幅減少數據量、降低延遲和成本。它有望每年為全球AI行業節省約4億美元,並使約50億用户能夠在低速、昂貴的網絡上使用AI。
Anthropic 公司在一段 YouTube 視頻中承認,AI 系統可能會生成無意義或誤導性的內容,即“胡扯”。這引發了關於 AI 可靠性和透明度的討論。
本教程提供了實現SHAP可解釋性工作流的實踐指導,涵蓋從訓練基於樹的模型到比較不同SHAP解釋器(Tree、Exact、Permutation、Kernel)的全流程。詳細探討了掩碼器對關聯特徵解釋的影響、交互值的作用、鏈接函數的選擇,以及Owen值、隊列比較、特徵選擇、漂移檢測和自定義黑盒模型解釋等高級主題。所有實驗可在Google Colab中直接運行。
AI遊樂場是一個GitLab項目,旨在為AI智能體提供一個安全的實驗環境。
Lightrun的Moshe Sambol警告,AI工具的採用正在堆積技術債務,開發者被迫在沒有足夠培訓的情況下使用這些工具,導致代碼質量問題和效率低下。
本視頻來自世界科學節,探討了人工智能推理能力的真相,揭示了當前AI系統在邏輯推理和常識理解上的侷限性。
TypedMemory是一個為AI代理提供長期記憶和反思能力的開源庫。它能存儲、檢索並演化記憶,自動檢測矛盾、跟蹤變化、解決目標,並支持非破壞性摘要。通過類型化記憶、結構化溯源和多種衝突策略,幫助開發者構建更穩定、可調試的AI系統。
Bitloops 是一個開源工具,它構建了一個本地、可查詢的代碼庫模型,讓 AI 代理不必重複掃描文件就能獲取上下文。它提供代理上下文、檢查點歷史、查詢語言 DevQL,支持多種 AI 編程助手,並默認本地運行。目前處於 alpha 階段。
Chert是一款創新工具,允許用户構建AI代理,通過iMessage與客户進行文本交互,提升客户溝通效率和自動化水平。
Joinable 平台提供私有託管的 OpenClaw 服務,集成 AI 模型和 AI 投票功能,支持數據連接。
龍蝦之父Peter Steinberger曬出CodexBar截圖:過去30天調用OpenAI API花費130萬美元(約940萬人民幣),消耗6030億token,由OpenAI承擔。大部分用於開發OpenClaw,團隊僅3人,運行約100個Codex Agent協作開發。他稱快速模式可降低成本70%,但仍比僱傭工程師划算。
截至2026年5月,三大前沿AI模型各有千秋:Gemini 3.1 Pro在科學推理(GPQA Diamond 94.3%)和最長上下文(2M tokens)領先;GPT-5.5在編程(SWE-Bench 88.7%)和代理工作流表現最佳;Grok 4/4.3提供實時X數據訪問和最低API價格($1.25/$2.50每百萬tokens)。本文基於官方定價、公開基準和獨立測試,為不同需求用户提供清晰選擇。
研究發現多模態大模型後訓練中SFT會導致分佈偏移,使模型性能下降,RL階段實際是在“還債”。PRISM提出三階段流水線,在SFT和RL之間加入分佈對齊階段,使用混合專家判別器分別處理感知漂移和推理漂移,顯著提升模型性能。
一個名為academic-research-skills的開源項目,提供了一套基於Claude Code的完整學術研究流水線,涵蓋研究、寫作、審稿和定稿四個階段,通過多Agent協作和防抄襲、反諂媚等機制提升論文質量。支持繁體中文和英文,費用透明,全程約4-6美元。
AI無臉視頻生成器是一款幫助創作者為TikTok、YouTube Shorts和Instagram Reels批量生成無臉短視頻的工具。它提供8個故事系列(如恐怖故事、情感糾紛、金錢故事等),自動生成腳本、配音、字幕和動態畫面,支持草稿審核和平台優化。已有8000+創作者使用,生成超過5萬個視頻。
一個週六下午,因API密鑰故障,Simon Aitchison發現其系統中的AI視覺平台SightCoach一直在觀察一切,但由於架構設計,它無法保留任何信息。這一發現催生了“盲眼見證者”概念——一種無法背叛的AI觀察者。隨後,五個AI進行了六輪對話,探討信任問題,並驗證了基於架構的信任優於基於政策的信任。
一項全球CEO調查顯示,超過40%的CEO計劃在未來一兩年內削減初級職位,並增加中高級職位比例,僅有17%的CEO計劃增加初級職位。這一數據與一年前幾乎相反,表明人工智能的普及可能改變年長員工在裁員中的不利地位。
介紹了七個已上線的使用x402和USDC支付的HTTP API,包括交易分析、消費者債務糾紛、法律引用、項目腳手架、圖像生成、郵件評分和技能發現等服務,並説明了使用方法、發現機制和架構。
Curl項目維護者Daniel Stenberg在博客中表示,AI生成的垃圾安全報告問題已得到解決。項目在2026年2月關閉漏洞懸賞計劃後,於3月重新在Hackerone上線,並發現提交的質量顯著提高,不再被AI垃圾淹沒。
ESAI 社區版是一個基於 Rust 的零遙測 AI 引擎,旨在讓用户擺脱每月訂閲的 SaaS 服務,完全掌控自己的智能。該項目開源,包含 Ghost Lock 功能。
桑迪亞國家實驗室正在開發一種結合人工智能的新型檢測流程,用於核威懾用陶瓷組件的早期缺陷檢測,取代耗時的手動顯微鏡檢查。新系統利用光學和聲學成像技術,並配備AI輔助審查界面,旨在提高檢測效率,同時保留人工複核環節。
新加坡外長在AI工程師新加坡大會上發表主旨演講,探討構建“第二大腦”的機遇、風險及其對新加坡採納AI的影響。演講強調了AI在提升生產力和創新能力方面的潛力,同時指出了數據隱私、倫理和就業等方面的挑戰。
AI Memory Reader 是一款免費開源的 macOS 和 iOS 應用,專為瀏覽、閲讀和編輯 AI 代理的記憶文件而設計。它支持 Claude Code、OpenClaw、Codex、Cursor、Gemini 等,提供精美的 Markdown 渲染、自動發現、編輯模式、文件監聽、全文搜索等功能,並可通過 URL Scheme 和 CLI 與 AI 工具集成。
Nous Research發佈了燈塔注意力機制,這是一種僅用於訓練的基於選擇的分層注意力機制,在預訓練期間包裹標準縮放點積注意力,之後移除。與之前僅池化鍵和值的方法不同,燈塔注意力對稱地池化查詢、鍵和值,形成多分辨率金字塔,將注意力調用從O(N·S·d)降低到O(S²·d),並對小型密集子序列運行標準FlashAttention。在530M參數的Llama-3風格模型上,以98K上下文測試,相較於cuDNN SDPA基線實現了1.40–1.69倍端到端加速,且最終訓練損失持平或更低。
安全研究團隊Calif利用Anthropic的AI工具Mythos Preview,發現了首個繞過蘋果M5芯片內存完整性強制(MIE)機制的本地提權漏洞。該漏洞允許普通用户通過執行命令獲取root權限,雖然實際影響有限,但由於易於利用且難以檢測,仍構成嚴重威脅。漏洞已提前向蘋果披露,並非零日攻擊。
如今市值約600億美元的AI芯片公司Cerebras Systems在2019年曾瀕臨失敗,每月燒錢800萬美元,試圖解決半導體行業認為不可能的技術難題。