Reddit 向人工智能公司和其他搜刮者发出警告:遵守我们的规则,否则将被屏蔽。该公司在更新计划更新其机器人排除协议(robots.txt 文件),通过该协议可以阻止对其平台的自动搜索。
该公司表示,它还将继续阻止和限制未与该公司事先达成协议的爬虫和其他机器人。该公司表示,这些变化不会影响"善意的行为者",如互联网档案馆和研究人员。
Reddit 的这一通知是在多方报道 Perplexity 和其他人工智能公司经常绕过robots.txt协议,该协议被出版商用来告诉网络爬虫他们不希望其内容被访问。Perplexity 的首席执行官最近在一次采访时说该协议"不是一个法律框架"。
Reddit 发言人在一份声明中表示,这并不是针对某家公司。该发言人说:"这次更新并不是针对某个实体,而是为了保护 Reddit,同时保持互联网的开放性。在接下来的几周里,我们将更新 robots.txt 说明,尽可能明确:如果你使用自动代理访问 Reddit,无论你是哪类公司,你都需要遵守我们的条款和政策,并与我们沟通。我们相信开放的互联网,但我们不相信对公共内容的滥用。"
这已经不是该公司第一次在数据访问方面采取强硬立场了。该公司在开始对其 API 收费时,就提到了人工智能公司使用其平台的情况。
API收费时,该公司提到了人工智能公司使用其平台的情况。此后,该公司与一些人工智能公司达成了许可协议,其中包括 Google和 OpenAI.这些协议允许人工智能公司在 Reddit 的档案中训练自己的模型,这也是新近上市的 Reddit 的重要收入来源。
这句话中的"和我们谈谈"部分很可能是在不露声色地提醒人们,Reddit 已经不再是一家免费提供内容的公司了。