• 来付费
  • Seven读者墙
  • 下载免费wp主题
  • 担保交易
  • 网站诊断
  • SEO工具
  • 我要投稿
  • 网站服务
  • SEO笔试题
  • 黑名单
  • 七叔有话说

深圳SEO博客

浅谈SEO技术的一些事一些情__By Seven

【绯闻SEO,一个专注中小企业网站优化的SEO爱好者】 联系深圳Seven 加群验证:七哥
  • 首 页
  • SEO问题解答
  • 百度更新
  • SEO基础知识
  • SEO优化进阶
  • SEO心态
  • 网站优化实战
  • 网站应用
2022【不接关键词排名】可提供降权诊断、优化方案、SEO顾问、seo培训咨询等 → 关于七哥
深圳Seven微信
当前位置: 深圳SEO > SEO优化基础, SEO问题解答(SEO面试题) > 文章内容   

如何处理:robots.txt文件存在限制指令

2014-04-23 01:38 By  Sevenseo 阅读:51,643次 SEO优化基础, SEO问题解答(SEO面试题)| 7 条

相信很多seoer在网站新上线或者改版之后,都见过首页收录有这么一句“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”的提示,这是不是搜索引擎的抓取问题?当然不是,这是由于网站重新上线时的一个屏蔽操作导致的,前几天在诊断一个网站(www.zhuoyu-dz.com)的时候,就发现了是robots的问题,关于如何处理,深圳seven下面会讲解到,现在先分析为什么会产生这个现象:

网站robots的屏蔽

网站robots的屏蔽

出现robots.txt文件存在限制指令的快照,是因为网站上线前或者测试的时候,网站的内容、标题都还需要不断的修改,为了不让搜索引擎抓取到频繁的修改,所以在robots.txt上做了屏蔽搜索引擎的收录,即disallow:/的限制,seven平时也有这个习惯,在一个网站正式上线前,都会做全站屏蔽;网站正式上线后,加以外链、友链和提交的引导,搜索引擎的蜘蛛过来抓取页面,发现地址存在,但是被屏蔽了抓取,为了遵循互联网的抓取规则,不得已快照上只能显示这句提示,“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,这是产生的由来;

那么如何处理这个robots的问题呢?首先第一步是找到根目录下的robots.txt文件,去掉这一句disallow:/,解除屏蔽抓取;第二步很关键,就是到站长平台下去更新robots文件,告诉搜索引擎你的网站已经对它解除了屏蔽,可以来抓取我的网页内容了,不然你可以想象,一个追求你但被你无情拒绝了的人,很难第二次鼓起勇气再次对你表白,除非你对他主动示好,其中更新robots文件就是对搜索引擎的主动示好,快照更新过来之后,现象就会消失了。

robots屏蔽如何解决

robots屏蔽如何解决

关于“Robots规则更新后多久会生效”下面也有详细描述;

总结
网站优化无小事,往往一个很小的细节都会让你的优化工作变得事倍功半,robots.txt是网站上线后必须检查的文件,不然连抓取都被屏蔽了,就很难谈到后面的抓取和收录了。

那些年的今天:

  1. 2018:  为什么seo培训机构的排名相对稳定(1)
本文属绯闻SEO首发: http://www.feiwenseo.com/655.html 原创不易,转载请注明出处。
标签: Robots
网站建设优化
  • 上一篇:为什么网站排名忽上忽下
  • 下一篇:网站优化经常遇到的困惑(上)

你可能感兴趣的分享

  • Robots规则更新后多久会生效((1))
  • 搜索引擎蜘蛛首先抓取网站的什么内容( )
  • Robots中Allow和Disallow的使用顺序( )
  • Robots不是用来处理死链的((1))
  • 新站如何快速收录与快照错误解决((5))
  • 为什么新网站正常更新排名全掉了((7))

7 条

  1. 6楼2018-12-07 上午10:22
    气味儿

    不错不错

  2. 5楼2018-02-04 上午9:55
    老李

    支持,解决了我的疑惑!

  3. 4楼2014-06-04 上午10:18
    钟文峰

    写的挺不错的受益匪浅 seo优化的未来的探讨,欢迎大家一起来天达站长SEO媒体论坛交流学习http://bbs.teldns.cn/

    • 2014-06-04 上午11:32
      深圳SEO_Seven

      做得不错

  4. 地板2014-06-01 下午12:15
    成人用品

    不错的文章很受益

  5. 板凳2014-04-27 下午10:36
    覃雨泽

    写得很好,阿泽来学习了。

  6. 沙发2014-04-23 下午2:26
    meledi

    非常实用的知识

网站建设优化
  • 最新SEO文章

  • 为什么出现关键词“深圳seo”排名的回光返照
  • 为什么seo工资普遍都不高
  • 心理预期左右了网站优化的价值
  • seo会一直存在,但不是唯一的选择
  • 百度搜索难看的遮羞布:百家号变为logo+网站帐号名
  • 百度搜索将严厉打击色情低俗广告内容
  • 用竞价招生的seo培训机构,质量究竟怎么样?
  • 百度搜索推出清风算法3.0,再次规范下载站内容优化
  • 百度即将推出细雨算法,算法更新越来越成为seoer笑料
  • 【公告】百度指数将从14日起调整『创建新词』价格

最多人搜索的seo文章

  • 怎样降低博客网站粉丝的伤害
  • 为什么SEO优化越来越难做
  • 为什么网站需要进行SEO优化(上)
  • 网站更换服务器空间会影响排名吗
  • SEO优化入门基础知识点(下)
  • 选词技巧:如何部署网站关键词优化
  • 如何擦边快速提升排名
  • Robots规则更新后多久会生效
  • 提供网站优化服务是不是只有接单优化
  • 【新手知识】怎样使自己搭建的网站能在百度搜到
  • 如何挑选一个符合SEO要求的域名
  • 百度快照不更新,网站究竟出了什么问题

SEO热门标签

网站优化 SEO面试题 SEO技术 SEO优化 百度算法更新 深圳SEO 百度更新变化 SEO基础优化 SEO实验 SEO博客 SEO实战 网站权重 网页快照 网站收录 友情链接 Robots SEO心态 网贷SEO SEO思维 Nofollow 百度算法 建站基础 数据分析 网站外链 网站更换空间 SEO笔试题 网站优化案例 基础优化 SEO博客运营 网贷SEO优化 深圳SEO博客 网站标题 wordpress 博客粉丝 网站品牌词 二三线城市SEO 绯闻SEO博客 SEO培训机构 流量消费转化 网站排名 深圳SEO研究中心 插件使用 Webapp 搜索引擎蜘蛛 统计工具 网站地图 网页描述 IIS 网站备案 301
Power by Sevenseo 版权所有 © 2013-2021 深圳SEO网站优化   深圳SEO交流q群:177036154  网站地图 安全联盟 
提供网站关键词优化降权诊断、恢复服务与指导,咨询电话:18027656585,QQ:654506430,Mail:Sevenseo@126.com   粤ICP备19015160号 地址:深圳市福田区