Cloudflare 数据揭示 AI 公司对互联网的单向索取

Cloudflare 数据显示，AI 公司的爬虫正在以远超搜索引擎的规模抓取网页内容，回馈给源站的流量却几乎可以忽略不计。

搜索引擎与网站之间长期存在一种不成文的契约：网站允许搜索引擎免费抓取页面，搜索引擎通过搜索结果页把用户引回源站，双方各取所需。这套机制运转了二十多年，是互联网内容生态的基础设施之一。

生成式 AI 的出现正在打破这个平衡。大语言模型需要大量网页数据来训练和更新知识，但当用户通过 AI 产品获取答案后，他们通常不再需要点击源网站链接。网站仍然要承担爬虫带来的带宽和服务器开销，却失去了主要的变现途径——流量。

Cloudflare 承载了全球约 20% 的互联网流量，处于观察这一问题的有利位置。该公司开始追踪各个 AI 爬虫的抓取次数，以及这些 AI 平台通过搜索结果、产品界面等渠道回馈给源站的点击量，计算出一个"抓取引流比"。

结果是悬殊的。

Anthropic 的 Claude 爬虫抓取引流比达到 8800:1——也就是说，每抓取 8800 次网页，只回馈 1 次点击。OpenAI 的比例是 993:1，同样严重失衡。

相比之下，传统搜索引擎的表现要平衡得多。Microsoft、Google 和 DuckDuckGo 的抓取引流比被 Business Insider 描述为"far more balanced by comparison"——远比 AI 公司更加平衡。这并不奇怪，搜索引擎的商业模式本身就依赖于把用户送往第三方网站。

Anthropic 此前曾质疑过 Cloudflare 的统计方法，认为该数据不能准确反映实际抓取行为。Business Insider 在本次报道中向 Anthropic 征求评论，但未获回应。

Cloudflare 的做法不止于发布数据。该公司正在尝试建立一种"网页内容市场"机制，让内容发布者能够对自己的数据拥有更大的控制权，甚至从中获得经济回报。如果这一机制能够落地，它可能会成为互联网内容生态的一根新支柱。

不过在那之前，失衡的局面可能还会持续相当一段时间。AI 公司对数据的需求只增不减，而大多数网站缺少有效的议价手段。要么等待市场机制成熟，要么等待监管介入——目前看来，两条路都还很长。

来源：Business Insider，Alistair Barr，2026-04-12