• 来付费
  • Seven读者墙
  • 下载免费wp主题
  • 担保交易
  • 网站诊断
  • SEO工具
  • 我要投稿
  • 网站服务
  • SEO笔试题
  • 黑名单
  • 七叔有话说

深圳SEO博客

浅谈SEO技术的一些事一些情__By Seven

【绯闻SEO,一个专注中小企业网站优化的SEO爱好者】 联系深圳Seven 加群验证:七哥
  • 首 页
  • SEO问题解答
  • 百度更新
  • SEO基础知识
  • SEO优化进阶
  • SEO心态
  • 网站优化实战
  • 网站应用
2019.02【不接关键词排名】提供降权诊断、优化方案、SEO顾问、seo培训咨询、Alexa排名,PS:18123911695已被盗 → 关于七哥
深圳Seven微信
当前位置: 深圳SEO > SEO进阶优化 > 文章内容   

站长必知基础(一):如何阻止垃圾蜘蛛的抓取

2013-10-13 02:46 By  Sevenseo 阅读:6,612次 SEO进阶优化| 3 条
作为一个网站的负责人,你是否有关注过IIS日志的信息详情?如果没有,我敢肯定你网站的不少带宽都被所谓的蜘蛛占去了,即使你的带宽很猛,不在乎那么点流量,但是从优化到极致来说,这都是远远不达标的。
蜘蛛分为真假蜘蛛,一般大型搜索引擎的蜘蛛,如百度、谷歌的蜘蛛,假蜘蛛一般归总为垃圾搜索引擎和恶意抓取程序。其中百度蜘蛛的真假分析,你可以通过语法“ nslookup ip”,查看来源是否是百度的子站点,如果不是,那么就是伪装的百度蜘蛛。如果仔细分析,你会发现一些国内或国外的蜘蛛,例如 EasouSpider、AhrefsBot等,这些蜘蛛都是没有什么用的,如果你面向的市场是国内的,百度 BaiduSpider,谷歌 Googlebot,360 360Spider,soso Sosospider,搜狗Sogou+web+spider,保留这几个蜘蛛的抓取就足够了,其他的蜘蛛一律屏蔽掉就行了,还有把你的静态资源,如Image和JS、CSS的路径也屏蔽掉,这些资源都是不需要蜘蛛抓取的,因为没有展现的价值;
具体如何加屏蔽呢?你可以手动新建一个robots.txt文件,放到网站根目录下,内容填写例如:User-Agent: AhrefsBot Disallow: / ,表示不允许AhrefsBot蜘蛛抓取任何页面,其他的屏蔽都可以类似这样填写;如果你不会填写内容,你也可以到百度站长平台上,直接生成robots.txt文件,地址为:http://zhanzhang.baidu.com/robots/index ,然后将文件更新到网站根目录即可;例如我之前查看日志发现了一些垃圾蜘蛛,直接才去屏蔽措施,robots设置如下:

site判断网站收录
这样屏蔽不必要的蜘蛛抓取,便可以轻松实现避免浪费带宽和流量,当然这对于遵循互联网协议的网络公司来说,是非常有效的办法,也不排除存在一些不遵循行业标准的恶意抓取程序,要禁止这些,只能是在确切证据证明下,直接对Ip进行屏蔽,才能行之有效了。
本文属绯闻SEO首发: http://www.feiwenseo.com/113.html 原创不易,转载请注明出处。
标签: 搜索引擎蜘蛛
  • 上一篇:什么是搜索引擎的蜘蛛
  • 下一篇:站长必知基础(二):如何快速判断网站是否被降权

你可能感兴趣的分享

  • 2013SEO技术年会分享二:为什么百度要频繁更新排名算法((8))
  • 网站流量人群定位((2))
  • 对比“网站优化”与“SEO”的效果差异((1))
  • 你不知道的友情链接——细节决定成败(下)( )
  • 网贷平台SEO之网站品牌词的优化和保护(上)( )
  • 东莞SEO博客优化怎么样((8))

3 条

  1. 板凳2015-08-21 下午12:40回复
    爱奇趣分享网

    太厉害啦!值得我们学习

  2. 沙发2014-04-09 下午3:54回复
    嘴角的微笑

    iis日志上,是看到了好几个不认识的蜘蛛呢

    • 2014-04-09 下午4:03回复
      深圳SEO_Seven

      不需要的 可以干掉

发表评论

点击这里取消回复。


快捷键:Ctrl+Enter

神奇的138雪糕网
  • 最新SEO文章

  • 百度搜索难看的遮羞布:百家号变为logo+网站帐号名
  • 百度搜索将严厉打击色情低俗广告内容
  • 用竞价招生的seo培训机构,质量究竟怎么样?
  • 百度搜索推出清风算法3.0,再次规范下载站内容优化
  • 百度即将推出细雨算法,算法更新越来越成为seoer笑料
  • 【公告】百度指数将从14日起调整『创建新词』价格
  • seo日常:解决wordpress评论被大量垃圾攻击
  • 百度移动搜索推出烽火算法2.0,严厉打击恶意劫持
  • 为什么seo培训机构的排名相对稳定
  • 2018:长假期间seo最重要任务是备份

最多人搜索的seo文章

  • 为什么SEO优化越来越难做
  • 怎样降低博客网站粉丝的伤害
  • 网站优化为什么一定需要品牌词
  • 什么是获得网站投票
  • 谈谈SEO优化前景该如何发展
  • 2014学习SEO优化还有前途吗
  • 百度移动搜索推出烽火算法2.0,严厉打击恶意劫持
  • WordPress如何安装使用友情链接插件
  • PHP如何做最简单的做全站301
  • 为什么网站需要进行SEO优化(上)
  • 站长必知基础(二):如何快速判断网站是否被降权

SEO热门标签

SEO面试题 网站优化 SEO技术 SEO优化 百度算法更新 深圳SEO 百度更新变化 SEO基础优化 SEO实验 SEO博客 网站权重 网页快照 SEO实战 网站收录 友情链接 网贷SEO Robots SEO思维 Nofollow 百度算法 SEO心态 网站外链 建站基础 数据分析 网站更换空间 SEO笔试题 网站优化案例 基础优化 SEO博客运营 网贷SEO优化 深圳SEO博客 网站标题 wordpress 博客粉丝 网站品牌词 二三线城市SEO 绯闻SEO博客 SEO培训机构 流量消费转化 网站排名 深圳SEO研究中心 插件使用 Webapp 搜索引擎蜘蛛 统计工具 网站地图 网页描述 IIS 网站备案 301
Power by Sevenseo 版权所有 © 2013-2018 深圳SEO网站优化   深圳SEO交流q群:177036154  网站地图 安全联盟 
提供网站关键词优化降权诊断、恢复服务与指导,咨询电话:18027656585,QQ:654506430,Mail:Sevenseo@126.com   粤ICP备14058521号 地址:深圳市福田区