AI智能體爬蟲現在需要許可：如何獲取

Cloudflare宣佈，從9月15日起，其網絡將默認阻止AI智能體爬蟲訪問顯示廣告的網頁。這些爬蟲實時為等待答案的用户抓取頁面，與傳統的搜索索引爬蟲不同。Cloudflare於7月1日公佈這一變更，將原本單一的“阻止AI爬蟲”開關細分為三個類別：搜索（索引頁面以回答後續問題）、智能體（代表用户實時操作，包括ChatGPT的抓取爬蟲和瀏覽器驅動智能體）和訓練（將內容納入模型權重）。這些控制選項對包括免費用户在內的所有客户立即生效。

從9月15日起，默認設置將發生變化：在展示廣告的頁面上，“訓練”和“智能體”類爬蟲將被阻止，而“搜索”類仍允許訪問。新默認設置適用於新接入Cloudflare的域名、現有客户的新站點以及所有現有免費層用户。不希望這些設置的用户可在日期前通過安全設置退出。

Cloudflare的邏輯是，廣告表明頁面是為人類訪問而設計的。搜索爬蟲將讀者帶回頁面是一種推薦，而讀取頁面後將答案直接交給別人則不是。由於Cloudflare在網絡層面實施阻止，而非 robots.txt 那樣的建議，因此智能體爬蟲的有效訪問將面臨嚴重限制。廣告支持的頁面正是新聞、評論、定價和產品報道所在之處，這對企業智能體而言意味着失敗模式不是訴訟，而是沉默或基於仍可訪問內容的回答。

一個複雜因素是Googlebot同時為搜索和訓練進行爬取，因此阻止訓練也會阻止Googlebot。Cloudflare CEO Matthew Prince表示，希望這一變化能“鼓勵混合用途爬蟲分離搜索、智能體使用和訓練”。

對於運行智能體的企業，首先應確定哪些Cloudflare賬户將被歸類為“智能體”類。分類基於行為而非自選，實時瀏覽的研究智能體會被捕獲。預期會出現降級而非完全失敗，因為阻止僅針對廣告支持頁面。協商訪問而非修改用户代理字符串是解決之道。出版商應檢查自身層級，免費用户將在9月15日自動應用新默認設置。然後決定阻止訓練是否值得，因為這會連帶影響Google搜索可見性。

值得關注的機制是付費模式：從“按爬取付費”轉向“按使用付費”。Ceramic.ai在內容出現在AI搜索結果中時向出版商支付，You.com在智能體訪問付費內容時支付。Cloudflare表示，超過一半的AI爬蟲流量用於重新抓取未變化的頁面，雙方都存在浪費。

這一分類的弱點在於依賴AI公司自行聲明其爬蟲行為，公司可能有意不將訓練爬蟲歸類為訓練。公告未説明如何防止此類行為。開放網絡的免費無限訪問已持續三十年，現在賬單開始明細化。在9月之前解決訪問問題的智能體構建者面臨的是可處理的問題，而那些從403錯誤中才發現問題的將不得不臨時重建。