• 来付费
  • Seven读者墙
  • 下载免费wp主题
  • 担保交易
  • 网站诊断
  • SEO工具
  • 我要投稿
  • 网站服务
  • SEO笔试题
  • 黑名单
  • 七叔有话说

深圳SEO博客

浅谈SEO技术的一些事一些情__By Seven

【绯闻SEO,一个专注中小企业网站优化的SEO爱好者】 联系深圳Seven 加群验证:七哥
  • 首 页
  • SEO问题解答
  • 百度更新
  • SEO基础知识
  • SEO优化进阶
  • SEO心态
  • 网站优化实战
  • 网站应用
2022【不接关键词排名】可提供降权诊断、优化方案、SEO顾问、seo培训咨询等 → 关于七哥
深圳Seven微信
当前位置: 深圳SEO > SEO优化基础 > 文章内容   

Robots不是用来处理死链的

2013-10-31 01:34 By  Sevenseo 阅读:20,560次 SEO优化基础| 1 条

觉得今天很有必要跟大家分享一下Robots与死链的关系,这几天已经遇到了好几个SEOer在混淆这两个概念了,老是把Robot的应用与死链的处理,搭配到一起去使用,Seven足足码字好几百,聊天记录都说了两页了,回头还是问了句,“怎么在robots.txt中写死链提交”,我在想一定是我表达的方式不对,下面给大家捋捋思路:

Robot的应用
机器人协议
主要用于定义允许/禁止哪些搜索引擎蜘蛛的爬取,允许/禁止蜘蛛可以爬取的网站路径,允许/禁止蜘蛛爬取URL的规则,告诉某些搜索引擎网站地图的URL,例如我的Robot就简单简单定义了几个规则,
本博客的Robot协议

(注:以前用过用过的老域名,2014年后已更换为feiwenseo)

死链的处理,这里针对百度搜索引擎讨论,主要还是到站长工具里面,把死链提交给百度,告诉百度这个链接不存在,请求删除之前的收录,这里是以txt或xml形式批量提交死链给百度;
死链提交

现在谈谈死链与Robot的关系,很多人就把死链提交到Robots定义里面,认为用Disallow来禁止百度蜘蛛的抓取,这个想法是好的,出发点无非是不想让百度收录自己网站的死链,但是有没有考虑到快照问题,就是这个链接是个死链,但是在网站收录里面还有快照存在,你就会想,是不是百度还能抓取到我的死链,所以你就在Robot里面加了N多行的Disallow,来禁止百度收录你的死链,seven一直不太认可这么一个做法,其实这完全是一个本末倒置的做法。

需要搞清楚死链是如何产生的?死链是由于文件删除或者路径修改产生的不可访问的链接,那么你需要做的第一步是完全清除死链,第二步是提交死链,而Robots的禁止收录,是因为路径存在,但是你不希望被搜索引擎收录,比如网站后台或者用户中心一类,所以才加的Disallow去禁止收录,死链是访问不到的链接,如果你第一步清除完了,存在这个Disallow的必要吗?因为你不完全清除死链,势必影响用户体验。

总结
死链是必须清除的,对于搜索引擎而言,网站收录之前的死链一般不会被收录,因为没有价值;收录之后的死链,可能用户会在搜索结果或者站内浏览时点击到,影响用户体验,所以必须提交死链和投诉快照加快死链处理。robots与死链的关系很微妙,差别就在于这个死链地址是否还存在于网站内链当中。

 

————–更新于2018.10.18—————–

处理死链可以借助站长工具+服务器上的网站日志收集404,统一收集到一个txt文档放置在根目录,一次性在站长工具提交,算是比较基础的,能比较快速处理批量死链。

 

那些年的今天:

  1. 2015:  网站速度优化之开启缓存策略(2)
  2. 2014:  为什么feiwenseo 301到feiwenseo.com(1)
本文属绯闻SEO首发: http://www.feiwenseo.com/305.html 原创不易,转载请注明出处。
标签: Robots 网站死链
网站建设优化
  • 上一篇:让你的网站分分钟飞速安全运作
  • 下一篇:SEO必须知道的十大网站过度优化

你可能感兴趣的分享

  • Robots规则更新后多久会生效((1))
  • 搜索引擎蜘蛛首先抓取网站的什么内容( )
  • Robots中Allow和Disallow的使用顺序( )
  • 如何处理:robots.txt文件存在限制指令((7))
  • 细节优化之网页描述的重要性( )
  • 如何处理:robots.txt文件存在限制指令((7))

1 条

  1. 沙发2013-10-31 下午6:52
    东莞SEO顾问

    介绍很仔细,新手很容易懂,青松博客留过脚印

网站建设优化
  • 最新SEO文章

  • 为什么出现关键词“深圳seo”排名的回光返照
  • 为什么seo工资普遍都不高
  • 心理预期左右了网站优化的价值
  • seo会一直存在,但不是唯一的选择
  • 百度搜索难看的遮羞布:百家号变为logo+网站帐号名
  • 百度搜索将严厉打击色情低俗广告内容
  • 用竞价招生的seo培训机构,质量究竟怎么样?
  • 百度搜索推出清风算法3.0,再次规范下载站内容优化
  • 百度即将推出细雨算法,算法更新越来越成为seoer笑料
  • 【公告】百度指数将从14日起调整『创建新词』价格

最多人搜索的seo文章

  • 怎样降低博客网站粉丝的伤害
  • 为什么SEO优化越来越难做
  • 为什么网站需要进行SEO优化(上)
  • 网站更换服务器空间会影响排名吗
  • SEO优化入门基础知识点(下)
  • 选词技巧:如何部署网站关键词优化
  • 如何擦边快速提升排名
  • Robots规则更新后多久会生效
  • 提供网站优化服务是不是只有接单优化
  • 【新手知识】怎样使自己搭建的网站能在百度搜到
  • 如何挑选一个符合SEO要求的域名
  • 百度快照不更新,网站究竟出了什么问题

SEO热门标签

网站优化 SEO面试题 SEO技术 SEO优化 百度算法更新 深圳SEO 百度更新变化 SEO基础优化 SEO实验 SEO博客 SEO实战 网站权重 网页快照 网站收录 友情链接 Robots SEO心态 网贷SEO SEO思维 Nofollow 百度算法 建站基础 数据分析 网站外链 网站更换空间 SEO笔试题 网站优化案例 基础优化 SEO博客运营 网贷SEO优化 深圳SEO博客 网站标题 wordpress 博客粉丝 网站品牌词 二三线城市SEO 绯闻SEO博客 SEO培训机构 流量消费转化 网站排名 深圳SEO研究中心 插件使用 Webapp 搜索引擎蜘蛛 统计工具 网站地图 网页描述 IIS 网站备案 301
Power by Sevenseo 版权所有 © 2013-2021 深圳SEO网站优化   深圳SEO交流q群:177036154  网站地图 安全联盟 
提供网站关键词优化降权诊断、恢复服务与指导,咨询电话:18027656585,QQ:654506430,Mail:Sevenseo@126.com   粤ICP备19015160号 地址:深圳市福田区