Linus Torvalds 談持續湧入的AI錯誤報告
Linus Torvalds 在LKML上討論AI公司大規模抓取網站導致的問題，並介紹了Anubis——一種基於工作量證明機制的防護方案，旨在阻止惡意爬蟲的同時減少對正常用户的干擾。
近日，Linus Torvalds 在 Linux 內核郵件列表（LKML）中談到人工智能領域持續湧入的錯誤報告，但重點卻指向了AI公司大規模抓取網站數據所帶來的問題。他指出，這種抓取行為不僅導致服務器負載驟增，甚至引發宕機，使得普通用户無法正常訪問資源。
為了應對這一挑戰，Torvalds 介紹了 Anubis 系統。Anubis 借鑑了類似 Hashcash 的工作量證明方案，最初設計用於減少垃圾郵件。在個人訪問場景下，額外的計算負載幾乎可以忽略不計；但當大規模爬蟲同時發起請求時，累積的成本將顯著提高抓取的門檻。
目前，Anubis 被視為一種臨時解決方案。開發團隊正致力於通過字體渲染等特徵對無頭瀏覽器進行指紋識別，從而更準確地區分正常用户與惡意爬蟲，最終希望避免向合法用户展示工作量證明挑戰頁面。
值得注意的是，Anubis 依賴現代 JavaScript 功能，而 JShelter 等插件可能會禁用這些功能。因此，用户需要為此域名禁用相關插件，以確保正常瀏覽。Torvalds 的這番討論再次引發了關於AI數據採集與網站防護之間平衡的廣泛思考。