跳到主要内容
AI News HubLIVE
更多
站内改写1 分钟阅读

“人工智能”一词已失去意义

文章摘要

这篇文章讨论了AI公司大规模爬取网站导致服务器宕机的问题,并介绍了一种名为Anubis的解决方案。Anubis采用工作量证明机制,类似于Hashcash,旨在增加大规模爬取的成本,同时保护网站资源。

来源Hacker News AI作者: spzb
“人工智能”一词已失去意义
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近年来,随着人工智能技术的迅猛发展,AI公司对网站数据的爬取行为日益频繁。这种大规模爬取不仅给网站服务器带来巨大负担,甚至导致宕机,使得普通用户无法正常访问资源。针对这一问题,一些网站开始采用反爬措施,其中Anubis系统就是一种基于工作量证明(Proof-of-Work)的解决方案。

Anubis的设计灵感来源于Hashcash,后者最初被提出用于减少电子邮件垃圾信息。其核心思想是:对于单个用户,额外的计算负载几乎可以忽略不计,但对于大规模爬取者,累积的成本将变得相当高昂,从而有效遏制恶意爬取行为。目前,Anubis主要作为临时措施使用,开发团队正在研究更先进的指纹识别技术,特别是针对无头浏览器的检测(例如通过字体渲染方式)。未来,当用户被识别为更可能是合法访问者时,将无需再呈现工作量证明挑战页面。

需要注意的是,Anubis依赖于现代JavaScript功能,某些插件(如JShelter)可能会将其禁用。用户如需正常访问,需为此域名禁用这类插件。

展开要点与分析

文章情报

工程师中级

要点

  • AI公司的大规模爬取导致网站宕机和资源不可访问。
  • Anubis是一种基于工作量证明的解决方案,增加爬取成本。
  • Anubis是过渡方案,未来将改进对无头浏览器的指纹识别。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。