引入Agent Ready分数：你的网站准备好应对AI代理了吗？

随着AI代理的快速发展，网站需要适应新的交互标准。Cloudflare今天正式推出了isitagentready.com工具，帮助网站所有者了解其站点对AI代理的支持程度，并获得可操作的改进建议。该工具从四个核心维度评估网站的Agent Readiness分数：可发现性（包括robots.txt、sitemap.xml和HTTP Link头）、内容可访问性（Markdown内容协商）、机器人访问控制（Content Signals、Web Bot Auth）以及协议发现（API Catalog、MCP Server Card、Agent Skills、OAuth等）。

当前网络的代理友好程度如何？Cloudflare Radar对20万个热门域名的扫描显示，虽然78%的网站拥有robots.txt，但大多数是为传统搜索引擎爬虫编写的；仅4%的网站通过Content Signals声明了AI使用偏好；支持Markdown内容协商的网站仅占3.9%；而MCP Server Cards和API Catalogs等新兴标准在全部数据集中出现次数不到15次。这些数据表明，代理标准仍有巨大的采用空间，早期采用者将获得显著优势。

为了帮助网站所有者改进，isitagentready.com不仅提供评分，还为每个失败的检查项生成可传递给编码代理的提示，让代理自动实现支持。该网站本身也是代理友好的：它公开了一个无状态的MCP服务器（位于/.well-known/mcp.json），提供scan_site工具，任何兼容MCP的代理都可以编程方式扫描网站；同时发布了Agent Skills索引，说明每个标准的实现方法。

Cloudflare还以身作则，对开发者文档进行了彻底改造。他们为每个页面创建了Markdown版本（通过/index.md路径访问），利用URL重写规则和请求头转换规则动态返回Markdown内容，无需额外构建步骤。对于包含5000多页的大型文档集，Cloudflare为每个顶级目录生成独立的llms.txt文件，根llms.txt仅指向子目录，从而避免超出代理的上下文窗口。此外，文档中删除了约450个仅提供目录列表的页面，并为每页丰富元数据（语义名称、描述），帮助代理高效定位信息。

基准测试表明，使用Cloudflare文档的代理平均消耗令牌减少31%，找到正确答案的速度提升66%，相比之下，其他大型技术文档网站常因单一大文件超出上下文窗口而导致代理陷入“grep循环”，产生额外的延迟和令牌开销。Cloudflare的文档还包含隐藏的代理指令（告知优先请求Markdown版本）、对AI训练爬虫的重定向（将过时内容排除）以及侧边栏中的“LLM资源”入口。

除了内容优化，Cloudflare还将Agent Readiness检查集成到URL Scanner中，用户可以通过API编程获取扫描结果。文章还介绍了代理支付标准x402（由Cloudflare与Coinbase合作推广）以及Universal Commerce Protocol和Agentic Commerce Protocol等新兴电子商务协议。Cloudflare鼓励所有网站所有者立即使用isitagentready.com测试自己的站点，并根据提示让代理进行升级，迎接机器可读的Web新时代。