Linus Torvalds 談持續湧入的AI錯誤報告
Linus Torvalds 在LKML上討論AI公司大規模抓取網站導致的問題，並介紹了Anubis——一種基於工作量證明機制的防護方案，旨在阻止惡意爬蟲的同時減少對正常使用者的干擾。
近日，Linus Torvalds 在 Linux 核心郵件列表（LKML）中談到人工智慧領域持續湧入的錯誤報告，但重點卻指向了AI公司大規模抓取網站資料所帶來的問題。他指出，這種抓取行為不僅導致伺服器負載驟增，甚至引發宕機，使得普通使用者無法正常訪問資源。
為了應對這一挑戰，Torvalds 介紹了 Anubis 系統。Anubis 借鑑了類似 Hashcash 的工作量證明方案，最初設計用於減少垃圾郵件。在個人訪問場景下，額外的計算負載幾乎可以忽略不計；但當大規模爬蟲同時發起請求時，累積的成本將顯著提高抓取的門檻。
目前，Anubis 被視為一種臨時解決方案。開發團隊正致力於透過字型渲染等特徵對無頭瀏覽器進行指紋識別，從而更準確地區分正常使用者與惡意爬蟲，最終希望避免向合法使用者展示工作量證明挑戰頁面。
值得注意的是，Anubis 依賴現代 JavaScript 功能，而 JShelter 等外掛可能會停用這些功能。因此，使用者需要為此域名停用相關外掛，以確保正常瀏覽。Torvalds 的這番討論再次引發了關於AI資料採集與網站防護之間平衡的廣泛思考。