OpenAI、谷歌、微软和Anthropic宣布，将共同采用一项新标准，允许出版商选择退出被AI公司抓取网站内容。这一新机制使出版商能够跨多个爬虫程序统一应用其AI训练偏好，无需向每家AI公司单独设置。
该共享“政策令牌”信号由Anthropic标准技术负责人Kevin Kelley作为互联网工程任务组（IETF）的一部分提出。信号将嵌入网站的robots.txt文件中，该文件长期用于指示网络爬虫的访问权限。目前，网站需向每家具AI公司分别发送训练偏好信号，新标准旨在解决这一痛点。
此举正值出版商应对AI爬虫大规模抓取内容的背景下。此前，行业已出现如Really Simple Licensing（RSL）标准赋予出版商收费权，以及Cloudflare默认屏蔽AI爬虫等尝试。
四家公司表示，若其AI爬虫检测到该共享令牌，将限制对相关网站的访问。其中，微软提供更精细的控制选项，允许出版商分别选择退出AI训练或AI接地（AI grounding，即引导模型指向验证信息源以减少幻觉）。微软强调，无论出版商偏好如何，其网站仍将出现在必应搜索结果中。
在实施进度上，Anthropic已采用该信号；OpenAI表示将在“未来几个月内”实施；谷歌和微软则计划于明年提供支持。