近日，Cloudflare宣布对服务规则进行重大调整，要求所有使用其平台的AI企业在9月15日前完成爬虫功能拆分。根据新规，AI厂商必须将搜索爬虫与模型训练爬虫、AI代理专用爬虫进行区分，若混合爬虫访问带广告页面，系统将自动拦截。这一举措直接改变了AI企业获取网页训练素材的方式，对行业生态产生深远影响。
新规适用范围广泛，不仅涵盖新入驻平台的客户，老用户新建站点以及全部免费用户网站均需执行。网站管理员若希望继续允许混合爬虫访问，必须手动修改后台配置。这一调整引发了站长群体的广泛关注，许多站长表示，他们愿意向传统搜索引擎开放内容，但不愿知识产权被AI企业无偿用于大规模训练。
针对这一争议，谷歌回应称已推出专属机器人工具，允许站点屏蔽AI训练抓取，同时不影响搜索收录功能。然而，谷歌的核心爬虫仍会为搜索内置的AI功能采集数据，搜索与AI训练的数据需求难以完全分离。Cloudflare平台CEO指出，当前机器人流量已远超人类访问量，行业亟需规范各类抓取行为，保护内容创作者的权益。
为加强内容方保护，Cloudflare持续升级工具，从2024年的防AI爬虫功能迭代至全新的按价值计费模式。此前，平台按抓取次数收费，如今改为“Pay Per Use”，即根据内容在AI应用中产生的实际收益结算费用。数据显示，超过半数的AI爬虫反复抓取无更新页面，新付费机制可有效减少无效流量，为创作者带来额外收入。
目前，该付费方案已与两家AI企业展开试点合作，内容被AI产品调用后，站长可直接获得收益分成。在版权监管日益严格的背景下，Cloudflare的新规迫使AI企业提高抓取透明度，同时也让网页创作者对自身内容拥有更多控制权。这一变化被视为行业规范化的重要一步，可能引发更多平台跟进类似措施。
