Robots中Allow和Disallow的使用顺序

Robots的设置关乎网站收录，如果混淆使用Allow和Disallow，将会给网站收录以及排名带来毁灭性的伤害。

Allow代表允许抓取的URL或URL集
Disallow代表禁止搜索引擎抓取的URL或URL集

例：允许抓取www.feiwenseo.com/SEO-base目录下的a.html页面，禁止抓取目录下的其他url，
【正确写法】
Allow:/SEO-base/a.html
Disallow:/SEO-base/
【错误写法】
Disallow:/SEO-base/
Allow:/SEO-base/a.html
解析：蜘蛛会根据规则，匹配到允许抓取的a.html,禁止抓取SEO-base目录下的其他Url，会排除a.html的禁止抓取；如果先匹配到目录禁止抓取，后面Allow包含的a.html将被忽略，所以书写禁止url前，需要先书写Allow的url；

Allow和Disallow后面书写的路径可以是绝对路径，也可以是相对路径，视网站抓取规则复杂程度自定义。