随着人工智能技术的飞速发展，AI爬虫的使用日益广泛，但这与当前社会对于隐私信息安全的关注形成了鲜明对比。为了应对这一矛盾，知名云服务提供商Cloudflare近日宣布，将采取新措施，未经网站所有者明确许可或给予补偿，将默认阻止AI爬虫抓取其内容。
Cloudflare的这一决定表面上是为了维护内容创作者的权益，然而，也有网友质疑其背后的动机可能并不单纯，推测此举或与公司自身的项目推广有关。据悉，Cloudflare正在与搜索巨头谷歌进行谈判，要求谷歌将传统搜索引擎爬虫与AI爬虫进行分离，以便网站所有者能够根据自身需求决定是否屏蔽AI爬虫。Cloudflare甚至放出狠话，如果谷歌拒绝这一要求，他们可能会考虑推动立法来强制实施。
然而，这一举措无疑会遭到谷歌的强烈反对。AI搜索作为谷歌的重要业务板块，一旦AI爬虫无法自由抓取内容，其市场竞争力无疑将受到严重打击。那么，Cloudflare为何还要冒险挑战谷歌的底线呢？
事实上，Cloudflare近期推出了一个名为Pay Per Crawl的交易平台，旨在搭建一个内容创作者与AI厂商之间的交易桥梁。为了实现这一目标，Cloudflare早在一年前就已推出了AI审计工具，向网站站长报告AI厂商的爬虫访问情况。Cloudflare希望通过这种方式，在内容创作者和AI厂商之间建立一个公平的交易机制，并从中获取收益。
尽管内容创作者对Pay Per Crawl平台有着迫切的需求，但AI厂商对此却并不热衷。长期以来，AI厂商已经习惯了免费抓取内容，不愿意让Cloudflare作为中间商赚取差价，因为这将大幅增加训练AI的成本。相比之下，谷歌自身也提出了针对这一问题的解决方案，但模式与Cloudflare截然不同。Cloudflare的这一举措，无疑也是在为自己拉拢用户的一种策略。
