消息称 Anthropic 及 OpenAI 的 AI 爬虫“蚕食”互联网，内容网站被“吸血”后回报寥寥

IT之家 1 月 13 日消息，通常情况下，引用其他网站内容的人工编辑会附上消息原始信息来源，以便读者参考原文内容，从而为原始平台带来访问流量，这构成了互联网长期运行的“隐性契约”。

然而在当下 AI 时代，这套机制正在迅速瓦解。当下各大 AI 机器人直接根据用户需求爬取网站数据，从而导致用户访问原始网站的意愿明显下降，同时相应网站反遭相应 AI 工具大量消耗流量。

综合 Cloudflare 及 Business Insider 报道，Cloudflare 从 2025 年开始系统性地追踪这一不公平现象，平台通过统计大型科技公司爬虫抓取网站的请求次数，以及这些平台向网站实际输送的访问量，由此计算出一个“抓取与回流比”，相应指标可以直观反映平台从互联网“拿走”了多少价值，又“还回”了多少。例“100:1 的比例意味着平台每抓取网站内容 100 次，只为其带来 1 次访问”。

在 Cloudflare 的统计中，Anthropic “抓取与回流比”最差，其网站抓取量远远高于为网站带来的访问量，OpenAI 的情况也类似，其抓取与回流比同样不佳，这意味着两家平台正从互联网获取越来越多的价值，却回馈得越来越少。

这一趋势与外媒 Business Insider 在 2024 年末的调查相互印证。当时的报道指出，Anthropic 和 OpenAI 的爬虫对部分网站的抓取频率“高到惊人”，甚至导致网站的流量和云计算成本大幅上升。

一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为 AI 爬虫暴增而翻了一倍。也就是说，AI 公司不仅从互联网获取内容、减少回流，还在无形中把更高的运营成本转嫁给了网站所有者。