免费的AI搜索引擎无法索引Reddit内容

Reddit最近宣布阻止未经授权的数据抓取，引发了人们对人工智能技术在这一平台上的影响的广泛讨论。这一变化已经生效，影响不仅限于人工智能聊天机器人制造商，还包括其他搜索引擎和浏览器。

Reddit的决定意味着除了谷歌之外的主要搜索引擎，如Brave和Bing，也受到了屏蔽。据报道，谷歌与Reddit签署了一项每年价值6000万美元的协议，使其成为唯一被允许从Reddit抓取数据并生成搜索结果的搜索引擎。然而，Reddit的发言人告诉Engadget，其他搜索引擎未能达成与Reddit关于人工智能数据训练的协议，因此被阻止访问其内容。

具体来说，Bing的排除据称是因为微软拒绝接受Reddit关于人工智能数据使用的特定条款，这与Reddit的数据隐私政策存在冲突。与此同时，DuckDuckGo等搜索引擎尝试搜索Reddit时，只能生成空白结果或仅显示一条简短的注释，说明该网站不允许抓取其数据。

Reddit采取这一举措的背景是其更新了robots.txt文件，以阻止未经授权的自动数据抓取。尽管这一文件是网络标准，指示哪些部分可以抓取，但许多抓取工具会忽略这些指令，而谷歌则严格遵守这一规定。因此，谷歌作为唯一被允许抓取Reddit数据的搜索引擎，显示出了其在这一市场中的竞争优势和技术控制能力。

这一事件反映了在人工智能快速发展的背景下，Reddit在保护其数据不被未经授权的抓取方面的决心。尽管这一决定可能引起一些搜索引擎和开发者的不满，Reddit似乎是为了确保其数据安全性和使用合法性而做出的牺牲。