OpenAI 于 2026 年 10 月 30 日宣布，将遵守 robots.txt 中的一项通用信号。robots.txt 是网站用来表达其内容使用偏好的文件，而这项信号专门用于说明网站内容是否可用于基础生成式 AI 训练。这一举措属于自愿性质，目的是让出版商和网站运营方能够更便捷地把同一项偏好一次性传达给多家参与的 AI 提供商。
在此之前，网站运营方需要逐一识别各个 AI 提供商的爬虫，并为每一家分别维护规则。这种方式繁琐且容易遗漏，尤其是当参与基础模型训练的提供商数量不断增加时，网站管理员不得不持续跟踪新的爬虫名称并更新配置。采用跨多家提供商共享的统一信号，可以显著减少这类重复性工作。
OpenAI 表示，计划在未来几个月内落实该信号，并在实施时另行发布更新，说明具体的实现细节。公司同时强调，这一新信号不会取代其现有的 robots.txt 控制机制。现有的爬虫控制措施将继续生效并得到尊重，从而保证网页发布者对其页面仍拥有灵活性和控制权。
这项工作是建立在互联网工程任务组（IETF）AI Preferences 工作组的持续研究之上的。OpenAI 与工作组中的其他参与者共同参与了此次共享信号的发布，并认为这有助于加强其在 IETF 标准讨论中的持续参与。OpenAI 还表示，随着相关讨论和行业格局的演变，公司将继续调整自身做法，以兼顾适当的控制与公平性。
从更广的角度看，OpenAI 将此举视为迈向开放网络的一步务实举措：人们能够发布和发现信息，而网站所有者则拥有更清晰、更简单的方式来表达其内容使用选择。公司也鼓励其他 AI 提供商遵守这一信号。
值得注意的是，这项声明的背景是 AI 训练数据使用问题持续受到关注。网站运营方长期以来缺乏统一渠道来表达对 AI 爬虫的偏好，而各提供商各自为政的爬虫规则又增加了管理成本。通过支持共享信号，OpenAI 试图在内容作者的控制需求与 AI 模型训练的数据需求之间建立更透明的协调机制。不过，该信号的实际效果仍取决于有多少提供商愿意参与并遵守，以及实施细节能否与现有 robots.txt 生态良好兼容。