Google News和网页搜索拥有庞大的新闻来源，而且每一分钟就会像这些新闻网站输出10万次点击。发布商加你给他们的内容放到网上就是因为他们想让自己被搜索到，所以只有极少数选择不让他们的内容被Google News的网页搜索索引到。但是只要他们告诉我们不要索引他们，我们当然就不会。
Google所谓的索引，就是通过按照来源网站的robots.txt文件的指示决定是否抓取该网站的内容。新闻和报纸界与Google依然在对立，让我们继续看这场戏如何演下去吧。
Via Search Engine Land
谷奥——探寻谷歌的奥秘 ( http://google.org.cn )<