讓AI搜索更智能

搜索是我們在網絡上找到幾乎所有東西（創作者、商家、答案）的方式。AI正在改寫規則，讓創作者陷入兩難：既要保持在這個代理時代中能被發現，又要為他們的工作獲得報酬。今天，Cloudflare宣佈了兩項計劃來解決這個問題。

搜索驅動着大部分網絡體驗。近30年來，這種發現過程基於一個簡單的交易：讓搜索引擎爬取你的內容，它會給你帶來訪客。通過廣告、訂閲或僅僅是流量，訪客轉化為收入。可被發現和獲得報酬是同一回事。一年前，在第一個內容獨立日，我們劃下了一條線來守護這個交易。但僅僅劃下一條線只是第一步。從那以後，AI搜索在消費者生活中的普及性迅速提高，如今超過50%的在線流量是非人為的。威脅不再是可以阻止的訓練爬蟲；而是搜索本身正圍繞AI答案重建。

現在的答案引擎讀取你的頁面，向用户提供摘要，訪問和其帶來的收入就不再必要。我們親眼看到，獨立研究也證實了這一點：2025年皮尤研究中心的一項研究發現，當谷歌顯示AI摘要時，用户點擊傳統搜索結果鏈接的時間只有8%（大約是沒摘要時的一半），點擊摘要內鏈接的時間只有1%。這讓我們的客户陷入困境：要麼不參與AI而難以被發現，要麼參與進來，為用户提供巨大價值，但同時看到回報越來越少。我們的客户希望被發現，併為他們提供的價值獲得補償，而現在他們被迫做出選擇。

今天，我們宣佈了新的機器人選項，幫助客户更好地控制誰可以訪問他們的網站以及如何使用。但阻止只是第一步：拒絕保護內容，但不重建支持它的商業模式。所以，是時候開始建立互聯網的新經濟模式了，從搜索開始。

重建交易

透明度和控制是基礎，但這還不夠。2025年，我們通過一套負責任AI機器人的原則奠定了基礎：機器人應透明説明身份和用途，尊重網站所有者的選擇，並以善意行事。我們的工具使機器人遵守標準。但強制執行好機器人行為並不能讓AI搜索對依賴它的人更好，也不能讓創作者因貢獻而獲得報酬。我們可以做更多事，而不僅僅是幫助網絡説“不”；我們可以幫助重建它説“是”的東西。

所以今天，我們宣佈了兩項從防禦轉向進攻的計劃，開始重新把舊交易的兩個部分結合起來。

• 讓AI搜索更智能：通過利用我們在全球網絡中看到的信號，比如什麼是最新的、高質量的、實際變化了的東西，我們可以幫助答案引擎展示最相關的內容，減少不必要的爬取。搜索結果會更好，同時當網頁只在變化時被重新爬取，AI公司和網站所有者的成本都會降低。
• 為創作者所提供價值支付報酬：當你的作品被用來回答問題時，你應該得到回報，而不是被免費抓取。你應該能看到什麼被使用、人們在問什麼。這應該是一個真正的收入來源，並激勵持續生產值得發現的原創內容。

讓搜索更智能

今天，我們啓動了一項研究計劃，讓AI搜索更智能，並停止讓我們的客户為沒有產出的爬取買單。

超過20%的網絡在Cloudflare網絡背後，這給了我們獨特的視角。我們可以判斷哪些頁面真正變化了，哪些頁面吸引人羣和代理。通過這個計劃，我們將探索使用客户選擇共享的關於內容新鮮度的信號，並結合我們自身對流量（人類和機器人）的洞察。對於答案引擎，這是一條通往高質量內容的地圖。對於我們的客户，它提供了用户實際在問什麼、他們的內容如何出現在AI結果中的視圖。目標是衡量兩件事：這些信號在多大程度上幫助答案引擎展示更新鮮、更高質量的內容，以及在多大程度上減少了不必要的爬取。

第二個好處——減少不必要的爬取——比聽起來更大。Cloudflare數據表明，超過50%的好機器人爬取流量是重新獲取未變化的頁面，而隨着爬取量的增加，這個數字可能會上升。一個“這裏沒變化”的信號讓爬蟲跳過這次獲取。這節省了答案引擎的計算。更重要的是，它讓網站所有者免於提供和支付他們從未需要的請求。

該計劃在設計上是中立的：我們的目標是讓每個願意公平競爭的答案引擎都能使用。它僅限於搜索。我們不分享任何內容，也不用於訓練基礎模型。我們打算公佈我們學到的東西，包括對網站所有者的好處，如更好的內容發現性和減少的服務器壓力。我們計劃在今年晚些時候廣泛提供該能力，並減少我們網絡上的不必要爬取。

從按爬取付費到按使用付費

去年我們推出了“按爬取付費”，讓發佈商能夠向AI公司收取爬取內容的費用。這是一個真正的開始，但爬取是價值的粗淺衡量。一個頁面可能被爬取一次，然後在數千個答案中被引用，或者被反覆爬取卻從未被使用。創作者希望為他們提供的價值獲得公平報酬。

因此，我們開始將“按爬取付費”轉變為“按使用付費”。我們正在與頂級AI公司（如Ceramic.ai和You.com）進行實驗，安排很直接：組織可以帶來他們的支付模型，並輕鬆擴展到Cloudflare網絡上的內容所有者。

Ceramic構建了它所稱的“按查詢付費”模型，因此選擇參與的內容發佈商可以在其內容出現在Ceramic搜索結果中時獲得報酬。這意味着支付旨在跟隨工作帶來的價值，而不是爬蟲獲取它的次數。

“要擴展AI搜索的未來，我們需要一個擁有巨大影響力的合作伙伴，共同致力於透明和公平補償，”Ceramic.ai創始人兼CEO Anna Patterson説。“Cloudflare讓我們能夠輕鬆地以編程方式擴展運營。通過將我們的按查詢付費模型帶到他們的網絡，我們確保數百萬內容所有者可以無縫選擇，每次他們的內容出現在我們的搜索結果中時都獲得補償。”

除了補償，參與Cloudflare/Ceramic計劃的內容所有者將解鎖新的報告，幫助進行答案引擎優化（AEO）。客户終於可以看到導致其內容出現在搜索結果中的主要查詢、特定網頁和片段、平均搜索排名位置等等。這是我們為幫助客户提高發現性而推出的眾多產品中的第一個。

這只是新興方法之一。另一個來自You.com：代理可以按需支付特定需要的高質量內容，無需事先承諾。AI提供者正在測試新的支付模型（例如按查詢付費、按結果付費等），我們有支持所有模型的基礎設施。

我們想誠實地説明這是一個實驗。有很多東西要學，包括這在互聯網規模下如何運作。我們將與合作伙伴和客户一起進行，並分享學習成果。但目標很明確：AI搜索公司獲得更新、更好的答案，而客户因其貢獻而獲得報酬。Cloudflare的角色是提供使這一市場繁榮的基礎設施層。

我們認為這更適合搜索經濟的走向。舊的、人類網絡針對時間進行了優化——提供摘要、十個藍色鏈接和一個點擊。代理互聯網不同：代理可以快速閲讀並持續搜索。搜索變成了代理回答一個問題而進行數十次的行為，更像一個實用工具而不是目的地。在那個世界裏，重要的單位不是爬取或點擊。而是結果。對結果進行定價，並付費給創造結果的人，是網絡持續繁榮的方式。

我們想贏得的頭條

一年前的內容獨立日，頭條是默認的“不”：AI爬取必須補償。今年，我們的重點是給用户更多產品和控制權來説“是”，並帶來更多好處。

今天的公告只是開始。Cloudflare的研究項目旨在看看我們的信號是否能以更少爬取產生更好結果。按使用付費是一個有希望的方向，我們將與相信內容創作者應獲得公平補償的合作伙伴一起實驗。這就是過去30年網絡建設的方式：有人運行試點，將“模式破碎”變成“這是新模式”，一次一個實驗。我們相信客户在這個新的代理時代中發現性和優化內容以獲得最大發現是有價值的。但他們應該能夠做到這一點而不必免費贈送他們最有價值的創意資產。

網絡在變化，依賴的商業模式也在變化。舊互聯網是開放、中立、值得貢獻的。我們有一個難得的機會來保持這一點，並建立未來資助它的商業模式。更智能的答案，為人類和代理提出的問題。公平的交易，為那些其技能、創造力和承諾使答案有價值的人。這就是我們追求Cloudflare使命的方式：幫助建設更好的互聯網。

內容獨立日快樂！

正在構建開放、代理就緒的網絡？如果您有興趣瞭解更多關於Ceramic和You計劃的信息，請填寫此表格。如果您正在構建答案引擎並希望更智能地爬取，我們也樂意聽取您的意見：[email protected]。