AI智慧體爬蟲現在需要許可：如何獲取

Cloudflare宣佈，從9月15日起，其網路將預設阻止AI智慧體爬蟲訪問顯示廣告的網頁。這些爬蟲即時為等待答案的使用者抓取頁面，與傳統的搜尋索引爬蟲不同。Cloudflare於7月1日公佈這一變更，將原本單一的“阻止AI爬蟲”開關細分為三個類別：搜尋（索引頁面以回答後續問題）、智慧體（代表使用者即時操作，包括ChatGPT的抓取爬蟲和瀏覽器驅動智慧體）和訓練（將內容納入模型權重）。這些控制選項對包括免費使用者在內的所有客戶立即生效。

從9月15日起，預設設定將發生變化：在展示廣告的頁面上，“訓練”和“智慧體”類爬蟲將被阻止，而“搜尋”類仍允許訪問。新預設設定適用於新接入Cloudflare的域名、現有客戶的新站點以及所有現有免費層使用者。不希望這些設定的使用者可在日期前透過安全設定退出。

Cloudflare的邏輯是，廣告表明頁面是為人類訪問而設計的。搜尋爬蟲將讀者帶回頁面是一種推薦，而讀取頁面後將答案直接交給別人則不是。由於Cloudflare在網路層面實施阻止，而非 robots.txt 那樣的建議，因此智慧體爬蟲的有效訪問將面臨嚴重限制。廣告支援的頁面正是新聞、評論、定價和產品報道所在之處，這對企業智慧體而言意味著失敗模式不是訴訟，而是沉默或基於仍可訪問內容的回答。

一個複雜因素是Googlebot同時為搜尋和訓練進行爬取，因此阻止訓練也會阻止Googlebot。Cloudflare CEO Matthew Prince表示，希望這一變化能“鼓勵混合用途爬蟲分離搜尋、智慧體使用和訓練”。

對於執行智慧體的企業，首先應確定哪些Cloudflare賬戶將被歸類為“智慧體”類。分類基於行為而非自選，即時瀏覽的研究智慧體會被捕獲。預期會出現降級而非完全失敗，因為阻止僅針對廣告支援頁面。協商訪問而非修改使用者代理字串是解決之道。出版商應檢查自身層級，免費使用者將在9月15日自動應用新預設設定。然後決定阻止訓練是否值得，因為這會連帶影響Google搜尋可見性。

值得關注的機制是付費模式：從“按爬取付費”轉向“按使用付費”。Ceramic.ai在內容出現在AI搜尋結果中時向出版商支付，You.com在智慧體訪問付費內容時支付。Cloudflare表示，超過一半的AI爬蟲流量用於重新抓取未變化的頁面，雙方都存在浪費。

這一分類的弱點在於依賴AI公司自行宣告其爬蟲行為，公司可能有意不將訓練爬蟲歸類為訓練。公告未說明如何防止此類行為。開放網路的免費無限訪問已持續三十年，現在賬單開始明細化。在9月之前解決訪問問題的智慧體構建者面臨的是可處理的問題，而那些從403錯誤中才發現問題的將不得不臨時重建。