• 来付费
  • Seven读者墙
  • 下载免费wp主题
  • 担保交易
  • 网站诊断
  • SEO工具
  • 我要投稿
  • 网站服务
  • SEO笔试题
  • 黑名单
  • 七叔有话说

深圳SEO博客

浅谈SEO技术的一些事一些情__By Seven

【绯闻SEO,一个专注中小企业网站优化的SEO爱好者】 联系深圳Seven 加群验证:七哥
  • 首 页
  • SEO问题解答
  • 百度更新
  • SEO基础知识
  • SEO优化进阶
  • SEO心态
  • 网站优化实战
  • 网站应用
2019.02【不接关键词排名】提供降权诊断、优化方案、SEO顾问、seo培训咨询、Alexa排名,PS:18123911695已被盗 → 关于七哥
深圳Seven微信
当前位置: 深圳SEO > SEO问题解答(SEO面试题) > 文章内容   

Robots中Allow和Disallow的使用顺序

2014-06-11 02:33 By  Sevenseo 阅读:4,108次 SEO问题解答(SEO面试题)| 0 条

Robots的设置关乎网站收录,如果混淆使用Allow和Disallow,将会给网站收录以及排名带来毁灭性的伤害。

Allow代表允许抓取的URL或URL集
Disallow代表禁止搜索引擎抓取的URL或URL集

例:允许抓取www.feiwenseo.com/SEO-base目录下的a.html页面,禁止抓取目录下的其他url,
【正确写法】
Allow:/SEO-base/a.html
Disallow:/SEO-base/
【错误写法】
Disallow:/SEO-base/
Allow:/SEO-base/a.html
解析:蜘蛛会根据规则,匹配到允许抓取的a.html,禁止抓取SEO-base目录下的其他Url,会排除a.html的禁止抓取;如果先匹配到目录禁止抓取,后面Allow包含的a.html将被忽略,所以书写禁止url前,需要先书写Allow的url;

Allow和Disallow后面书写的路径可以是绝对路径,也可以是相对路径,视网站抓取规则复杂程度自定义。

那些年的今天:

  1. 2018:  seo日常:解决wordpress评论被大量垃圾攻击(0)
本文属绯闻SEO首发: http://www.feiwenseo.com/765.html 原创不易,转载请注明出处。
标签: Robots SEO面试题
网站建设优化
  • 上一篇:网站快照不更新影响网站排名吗
  • 下一篇:搜索引擎蜘蛛首先抓取网站的什么内容

你可能感兴趣的分享

  • Robots规则更新后多久会生效((1))
  • 搜索引擎蜘蛛首先抓取网站的什么内容( )
  • 如何处理:robots.txt文件存在限制指令((7))
  • Robots不是用来处理死链的((1))
  • 百度BR和谷歌PR有什么区别((2))
  • 网站快照一直不更新怎么办( )

暂无评论

发表评论

点击这里取消回复。


快捷键:Ctrl+Enter

网站建设优化
  • 最新SEO文章

  • 心理预期左右了网站优化的价值
  • seo会一直存在,但不是唯一的选择
  • 百度搜索难看的遮羞布:百家号变为logo+网站帐号名
  • 百度搜索将严厉打击色情低俗广告内容
  • 用竞价招生的seo培训机构,质量究竟怎么样?
  • 百度搜索推出清风算法3.0,再次规范下载站内容优化
  • 百度即将推出细雨算法,算法更新越来越成为seoer笑料
  • 【公告】百度指数将从14日起调整『创建新词』价格
  • seo日常:解决wordpress评论被大量垃圾攻击
  • 百度移动搜索推出烽火算法2.0,严厉打击恶意劫持

最多人搜索的seo文章

  • 怎样降低博客网站粉丝的伤害
  • 为什么SEO优化越来越难做
  • 2014学习SEO优化还有前途吗
  • WordPress如何安装使用友情链接插件
  • 网站更换IP影响SEO优化吗
  • PHP如何做最简单的做全站301
  • 为什么网站需要进行SEO优化(上)
  • 站长必知基础(二):如何快速判断网站是否被降权
  • 站长必知基础(一):如何阻止垃圾蜘蛛的抓取
  • 网站更换服务器空间会影响排名吗
  • SEO优化入门基础知识点(下)
  • 选词技巧:如何部署网站关键词优化

SEO热门标签

网站优化 SEO面试题 SEO技术 SEO优化 百度算法更新 深圳SEO 百度更新变化 SEO基础优化 SEO实验 SEO博客 网站权重 网页快照 SEO实战 网站收录 友情链接 Robots SEO心态 网贷SEO SEO思维 Nofollow 百度算法 建站基础 数据分析 网站外链 网站更换空间 SEO笔试题 网站优化案例 基础优化 SEO博客运营 网贷SEO优化 深圳SEO博客 网站标题 wordpress 博客粉丝 网站品牌词 二三线城市SEO 绯闻SEO博客 SEO培训机构 流量消费转化 网站排名 深圳SEO研究中心 插件使用 Webapp 搜索引擎蜘蛛 统计工具 网站地图 网页描述 IIS 网站备案 301
Power by Sevenseo 版权所有 © 2013-2018 深圳SEO网站优化   深圳SEO交流q群:177036154  网站地图 安全联盟 
提供网站关键词优化降权诊断、恢复服务与指导,咨询电话:18027656585,QQ:654506430,Mail:Sevenseo@126.com   粤ICP备14058521号 地址:深圳市福田区