“人工智能”一词已失去意义
这篇文章讨论了AI公司大规模爬取网站导致服务器宕机的问题，并介绍了一种名为Anubis的解决方案。Anubis采用工作量证明机制，类似于Hashcash，旨在增加大规模爬取的成本，同时保护网站资源。
近年来，随着人工智能技术的迅猛发展，AI公司对网站数据的爬取行为日益频繁。这种大规模爬取不仅给网站服务器带来巨大负担，甚至导致宕机，使得普通用户无法正常访问资源。针对这一问题，一些网站开始采用反爬措施，其中Anubis系统就是一种基于工作量证明（Proof-of-Work）的解决方案。
Anubis的设计灵感来源于Hashcash，后者最初被提出用于减少电子邮件垃圾信息。其核心思想是：对于单个用户，额外的计算负载几乎可以忽略不计，但对于大规模爬取者，累积的成本将变得相当高昂，从而有效遏制恶意爬取行为。目前，Anubis主要作为临时措施使用，开发团队正在研究更先进的指纹识别技术，特别是针对无头浏览器的检测（例如通过字体渲染方式）。未来，当用户被识别为更可能是合法访问者时，将无需再呈现工作量证明挑战页面。
需要注意的是，Anubis依赖于现代JavaScript功能，某些插件（如JShelter）可能会将其禁用。用户如需正常访问，需为此域名禁用这类插件。