近期，网络安全巨头Cloudflare发布了一项针对人工智能搜索新贵Perplexity的指控报告，指出后者涉嫌违反网站访问限制，试图规避对其网络爬虫的封锁措施。据Cloudflare披露，当Perplexity的爬虫活动受到阻碍时，该公司采取了伪装身份的策略，试图无视网站的访问偏好，这包括直接无视robots.txt文件中的明确禁令以及Web应用防火墙（WAF）的既定规则。
这一指控进一步加剧了外界对Perplexity可能未经授权获取网络内容的忧虑。早先，Perplexity就曾因突破付费障碍和忽视robots.txt文件而受到指责，但其CEO阿拉文德·斯瑞尼瓦斯当时将问题归咎于第三方爬虫的行为。
为了验证客户的投诉，Cloudflare特别设立了一个带有相似访问限制的新域名进行测试。测试结果显示，Perplexity的爬虫（最初以“PerplexityBot”或“Perplexity-User”的身份出现）在遭遇封锁后，会迅速变换其用户代理信息，伪装成在macOS系统上运行的Google Chrome浏览器。Cloudflare强调，这种“未声明的爬虫”还运用了不断更换的IP地址和自治系统网络（ASN）调整策略，以绕过封锁。据Cloudflare观察，此类规避行为波及“数以万计的域名，每天产生数百万次的请求”。
面对指控，Perplexity的发言人杰西·德怀尔在一份声明中反驳称，Cloudflare的报告是“夸大其词”，并指出其中存在“诸多误解”。尽管如此，Cloudflare已经决定从已验证的机器人名单中剔除Perplexity，并分享了阻止其“隐形爬行”行为的具体方法。
