正规搜索引擎蜘蛛都会遵循互联网抓取规则,也就是国际互联网界通行的道德规范——Robots协议。
蜘蛛在抓取网站内容之前,需要先解读根目录的Robots协议,以确定自己是否有权限抓取站内资源,否则很容易为自己惹上侵权纠纷,因为Robots是互联网公认遵守的规则,以保护用户隐私及网络安全,规则一旦被打破,将会为互联网带来不可估量灾难风险,所以蜘蛛访问网站的第一个文件是Robots.txt,其他流氓蜘蛛除外,如之前的360搜索引擎蜘蛛,详细资料可阅读“Robots协议”。
那些年的今天:
本文属绯闻SEO首发: http://www.feiwenseo.com/768.html 原创不易,转载请注明出处。