Linus Torvalds 谈持续涌入的AI错误报告
Linus Torvalds 在LKML上讨论AI公司大规模抓取网站导致的问题，并介绍了Anubis——一种基于工作量证明机制的防护方案，旨在阻止恶意爬虫的同时减少对正常用户的干扰。
近日，Linus Torvalds 在 Linux 内核邮件列表（LKML）中谈到人工智能领域持续涌入的错误报告，但重点却指向了AI公司大规模抓取网站数据所带来的问题。他指出，这种抓取行为不仅导致服务器负载骤增，甚至引发宕机，使得普通用户无法正常访问资源。
为了应对这一挑战，Torvalds 介绍了 Anubis 系统。Anubis 借鉴了类似 Hashcash 的工作量证明方案，最初设计用于减少垃圾邮件。在个人访问场景下，额外的计算负载几乎可以忽略不计；但当大规模爬虫同时发起请求时，累积的成本将显著提高抓取的门槛。
目前，Anubis 被视为一种临时解决方案。开发团队正致力于通过字体渲染等特征对无头浏览器进行指纹识别，从而更准确地区分正常用户与恶意爬虫，最终希望避免向合法用户展示工作量证明挑战页面。
值得注意的是，Anubis 依赖现代 JavaScript 功能，而 JShelter 等插件可能会禁用这些功能。因此，用户需要为此域名禁用相关插件，以确保正常浏览。Torvalds 的这番讨论再次引发了关于AI数据采集与网站防护之间平衡的广泛思考。