Cloudflare 希望構建 AI 網路的經濟層

人工智慧正在以前所未有的速度改變網際網路的面貌。隨著谷歌的 AI 概覽直接提供答案，曾經佔據搜尋結果首位的出版物逐漸被摘要取代，使用者無需點選即可獲取資訊，流量因此大幅下降。面對這一現實，Cloudflare 在週三宣佈了一系列針對出版商的更新，涵蓋爬蟲分類、分析儀表盤、答案引擎最佳化（AEO）以及 Pay Per Crawl 計劃的擴充套件，表明該公司正試圖成為 AI 網路的經濟管道。

從“阻止”到“合作”的轉變

一年前，Cloudflare 的立場主要是防禦性的，主張網站所有者應有權阻止 AI 爬蟲。如今，該公司轉而討論為“代理經濟”構建“軌道”。這一轉變合乎邏輯：如果 AI 代理已經在網路上瀏覽、收集內容甚至進行購買，那麼就需要有人處理網站被訪問時的補償問題。Cloudflare 認為它應該承擔這一角色。

為價值付費，而非訪問量

大約一年前，Cloudflare 推出了 Pay Per Crawl，允許出版商為 AI 公司每次抓取頁面設定價格。現在，該公司正在向 Pay Per Use 模式推進，即出版商的內容實際出現在 AI 生成的答案中時才獲得報酬。相比之下，舊模式中 AI 爬蟲付費訪問網站，無論其是否利用了內容。Cloudflare 表示已經在與 Ceramic.ai 和 You.com 測試這一模式。這種經濟模式發生了根本性轉變：不再是按訪問收費（如同收費亭），而是按價值收費，更接近聯盟營銷或許可協議的方式。但這也帶來了更難的問題：需要知道哪些內容貢獻了哪個答案，需要目前尚未大規模存在的歸因基礎設施。

爬蟲需要更清晰的標籤

更具技術性和政治性的問題是，Cloudflare 希望 AI 公司不再將所有爬蟲混為一談。目前，一個來自大型 AI 公司的機器人可能同時執行搜尋索引、模型訓練和代理任務，使得網站所有者無法針對不同用途進行授權。從 9 月 15 日起，Cloudflare 計劃更改新網站和免費版網站的預設設定：AI 搜尋爬取保持開啟，但訓練和代理訪問在廣告支援的頁面上預設被阻止，除非網站所有者選擇開啟。拒絕分離流量的混合用途爬蟲將被完全阻止。Cloudflare 顯然在此指向谷歌，指出其捆綁方式使其獲取的內容量約為 AI 原生競爭對手的兩倍。分離爬蟲意圖已成為出版商與 AI 公司之間任何有效市場的前提條件。因為如果網站所有者無法區分“索引我的頁面用於搜尋”和“訓練你的模型使用我的文章”，他們會越來越傾向於完全遮蔽所有爬蟲。

最佳化 AI 答案

Cloudflare 還推出了面向業務團隊的 Attribution Business Insights 儀表盤，類似於 Google Search Console，但針對的是 AI 搜尋引擎，如 ChatGPT 或 Perplexity。此外，Cloudflare 引入了答案引擎最佳化（AEO），幫助出版商瞭解內容如何在 AI 生成的回答中被引用。這與傳統的 SEO 不同，目前幾乎沒有人擁有良好的工具來應對這一挑戰。

基礎設施作為競爭優勢

Cloudflare 已經位於網站和網際網路之間，能夠看到流量並判斷頁面內容是否更新。它可以讓爬蟲在內容無變化時稍後再來，據稱這將消除超過 50% 的當前 AI 爬取流量。這使 Cloudflare 處於獨特地位：它已經存在於 AI 公司與網路之間的路徑上，現在希望成為管理訪問、歸因以及最終支付的一層。如果 AI 代理成為人們線上獲取資訊的主要方式，Cloudflare 押注下一場戰鬥將不再是關於誰構建了最智慧的模型，而是關於誰構建了所有人都依賴的基礎設施。