根据互联网基础设施提供商Cloudflare的说法，Perplexity的爬虫在那些网站明确阻止它们后仍然继续访问来自数万个网站的内容。该公司周一表示，已将Perplexity从其验证的机器人程序中删除，并对其所称的欺骗性抓取行为实施了封锁。

位于旧金山的Perplexity成立于2022年，由Aravind Srinivas（首席执行官，前OpenAI研究员）、Denis Yarats（前Facebook AI）、Johnny Ho和Andy Konwinski（Databricks的联合创始人）创立。该公司获得了包括Elad Gil、Nat Friedman（前GitHub首席执行官）和Nvidia等投资者的资金，并在上个月筹集了1亿美元后，估值达到180亿美元。

最近的冲突爆发是因为Cloudflare的客户投诉Perplexity在实施robots.txt指令和特定防火墙规则以阻止该AI公司的声明爬虫后，仍然在抓取他们的网站。Cloudflare的工程师Gabriel Corral、Vaibhav Singhal、Brian Mitchell和Reid Tatoris在测试中确认，“Perplexity的爬虫确实在特定页面上被阻止。”

为了测试Perplexity的行为，Cloudflare创建了多个新购买的域名，并使用限制性robots.txt文件禁止所有自动访问。“我们通过向Perplexity AI询问这些域名的问题进行了一次实验，发现Perplexity仍然提供有关每个受限域名上托管的确切内容的详细信息。”

接下来发生的事情让他们感到惊讶。Perplexity似乎没有遵守封锁，而是改变了策略。“我们观察到，Perplexity不仅使用其声明的用户代理，还使用一种通用浏览器，意图在其声明的爬虫被阻止时伪装成macOS上的Google Chrome，”工程师们写道。

来源：Cloudflare

这些隐形爬虫采用了复杂的规避技术。“这个未声明的爬虫利用了多个不在Perplexity官方IP范围内的IP，并会根据限制性的robots.txt政策和Cloudflare的封锁在这些IP之间轮换。除了轮换IP外，我们还观察到请求来自不同的ASN，以进一步规避网站的封锁。”

根据Cloudflare的说法，Perplexity的“声明”爬虫——那些容易识别的爬虫——每天生成2000万到2500万次请求，而未声明的隐形爬虫——那些依赖阴暗手段隐藏其目的的爬虫——每天增加另外300万到600万次请求。“这种活动在数万个域名和每天数百万次请求中被观察到。”

该公司没有回应Decrypt的评论请求。一位发言人向TechCrunch驳斥了这些指控，称其不过是Cloudflare的“销售宣传”。

Cloudflare首席执行官Matthew Prince对他所认为的AI公司对网络内容的不可持续提取发表了明确的看法。“随着人们越来越依赖AI摘要，搜索流量推荐急剧下降。”在7月，他透露了令人震惊的比例：谷歌每抓取18个页面就发送一个访客，而AI公司的比例则更糟。OpenAI的比例从六个月前的250比1恶化到今天的1500比1。Anthropic的数字更为极端，在同一时期内从6000比1跃升至60000比1。

来源：Cloudflare

这促使Cloudflare推出了它所称的“内容独立日”，默认阻止所有新域名的AI爬虫，成为保护内容创作者免受烦人AI爬虫威胁的事实上的义务警察。

正如Decrypt 之前报道，自去年秋季以来，已有超过一百万个网站选择阻止爬虫，主要出版商包括美联社、时代杂志、大西洋月刊、BuzzFeed、Reddit、Quora和环球音乐集团等纷纷加入这一运动。

“爬虫应该透明，服务于明确的目的，执行特定的活动，最重要的是，遵循网站的指令和偏好，”Cloudflare表示。该公司将Perplexity的行为与OpenAI进行了对比，称后者正确地尊重robots.txt文件，并在被阻止时停止抓取。

Cloudflare的回应包括立即的技术措施和长期的倡议。该公司已将隐形爬虫的特征匹配部署到其管理规则中，所有客户包括免费用户均可使用。它还在开发工具，如“AI迷宫”，将不合规的机器人困在虚假内容的迷宫中，以及一个“按爬取付费”的市场，允许出版商向AI公司收取访问其内容的费用。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。