AI News HubLIVE
站內改寫2 分鐘閱讀

引入Agent Ready分數:你的網站準備好應對AI代理了嗎?

Cloudflare推出isitagentready.com工具,幫助網站所有者評估其網站在可發現性、內容可訪問性、機器人訪問控制和協議發現四個維度上對AI代理的最佳化程度。同時釋出Radar資料集跟蹤標準採用情況,並分享如何改造開發者文件以減少令牌消耗、提升響應速度。

來源Cloudflare AI Blog作者: André Jesus

隨著AI代理的快速發展,網站需要適應新的互動標準。Cloudflare今天正式推出了isitagentready.com工具,幫助網站所有者瞭解其站點對AI代理的支援程度,並獲得可操作的改進建議。該工具從四個核心維度評估網站的Agent Readiness分數:可發現性(包括robots.txt、sitemap.xml和HTTP Link頭)、內容可訪問性(Markdown內容協商)、機器人訪問控制(Content Signals、Web Bot Auth)以及協議發現(API Catalog、MCP Server Card、Agent Skills、OAuth等)。

當前網路的代理友好程度如何?Cloudflare Radar對20萬個熱門域名的掃描顯示,雖然78%的網站擁有robots.txt,但大多數是為傳統搜尋引擎爬蟲編寫的;僅4%的網站透過Content Signals宣告瞭AI使用偏好;支援Markdown內容協商的網站僅佔3.9%;而MCP Server Cards和API Catalogs等新興標準在全部資料集中出現次數不到15次。這些資料表明,代理標準仍有巨大的採用空間,早期採用者將獲得顯著優勢。

為了幫助網站所有者改進,isitagentready.com不僅提供評分,還為每個失敗的檢查項生成可傳遞給編碼代理的提示,讓代理自動實現支援。該網站本身也是代理友好的:它公開了一個無狀態的MCP伺服器(位於/.well-known/mcp.json),提供scan_site工具,任何相容MCP的代理都可以程式設計方式掃描網站;同時釋出了Agent Skills索引,說明每個標準的實現方法。

Cloudflare還以身作則,對開發者文件進行了徹底改造。他們為每個頁面建立了Markdown版本(透過/index.md路徑訪問),利用URL重寫規則和請求頭轉換規則動態返回Markdown內容,無需額外構建步驟。對於包含5000多頁的大型文件集,Cloudflare為每個頂級目錄生成獨立的llms.txt檔案,根llms.txt僅指向子目錄,從而避免超出代理的上下文視窗。此外,文件中刪除了約450個僅提供目錄列表的頁面,併為每頁豐富後設資料(語義名稱、描述),幫助代理高效定位資訊。

基準測試表明,使用Cloudflare文件的代理平均消耗令牌減少31%,找到正確答案的速度提升66%,相比之下,其他大型技術文件網站常因單一大檔案超出上下文視窗而導致代理陷入“grep迴圈”,產生額外的延遲和令牌開銷。Cloudflare的文件還包含隱藏的代理指令(告知優先請求Markdown版本)、對AI訓練爬蟲的重定向(將過時內容排除)以及側邊欄中的“LLM資源”入口。

除了內容最佳化,Cloudflare還將Agent Readiness檢查整合到URL Scanner中,使用者可以透過API程式設計獲取掃描結果。文章還介紹了代理支付標準x402(由Cloudflare與Coinbase合作推廣)以及Universal Commerce Protocol和Agentic Commerce Protocol等新興電子商務協議。Cloudflare鼓勵所有網站所有者立即使用isitagentready.com測試自己的站點,並根據提示讓代理進行升級,迎接機器可讀的Web新時代。