2026-06-04 16:22 UTC+8仅摘要更新: 2026-06-30 21:03 UTC+8

AgentRail：为网站打造的AI代理友好层

AgentRail 是一个部署在 Cloudflare 边缘的层，它会为已知的 AI 代理提供确定性的 Markdown 响应，而人类和传统爬虫则继续获取原始 HTML。它包含机器人检测、Markdown 提取、爬虫和 Worker 运行时等组件，并支持通过 Cron 触发器进行后台爬取。项目旨在减少 AI 代理对网站造成的负载，并确保内容提取的一致性。

来源Hacker News AI作者: xgharibyan

报告错误

纠错通道尚未开通，可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师中级

要点

AgentRail 在 Cloudflare 边缘识别 AI 代理请求，并返回预生成的 Markdown，而非 HTML。
包括四个核心包：bot-detector、markdown-extractor、crawler 和 worker。
默认支持 Applebot、GPTBot、ClaudeBot 等 AI 代理，传统搜索引擎爬虫则不受影响。
项目提供脚手架工具 create-agentrail，可快速生成 Cloudflare Worker 项目。

要点与分析由自动化流程生成，可能有误，请结合原始来源核实。