越简单越好!
Robots指南
发表于 2007-03-15 16:00    

当搜索引擎访问一个网站时,它首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。Robots.txt文件用于限定搜索引擎对其网站的访问范围,即告诉搜索引擎网站中哪些文件是允许它进行检索(下载)的。这就是大家在网络上常看到的“拒绝Robots访问标准”(Robots Exclusion Standard)。

查看详情已有407次阅读  |  0次点赞  |  0个评论
返回顶部 ^