您现在的位置:[电竞竞猜APP]电商平台 > 为什么蜘蛛会抓取不存在的页面

为什么蜘蛛会抓取不存在的页面

发布日期:2014-01-21 阅读次数:1602

做seo我们需要经常性的去看我们网站的服务器日志,也就是iis日志,因为我们需要很好的掌握蜘蛛爬取了我们网站的什么地方,哪个页面。但是有些朋友有的时候在进行例行检查的时候,却发现蜘蛛爬取了一些我们网站并不存在的页面,今天合肥网站制作公司小编就讲解下为什么百度蜘蛛会爬取我们网站没有的页面。

1、蜘蛛是怎么发现我们网站的链接的

我们都知道,蜘蛛是沿着链接爬来爬去的,他会自动提取网站中所有的链接,保存入库,然后进行爬取,这也就是为什么我们觉得网站的收录少了或者刚发布的文章没有被收录,我们就会说“引蜘蛛”了,其实引蜘蛛就是发外链了,当这条链接呗蜘蛛发现之后,他就会进行爬取,然后通过一系列复杂的算法之后,决定是否放出该页面的收录。

2、为什么会爬到不存在的页面

一般情况下,有这么几个问题

a、被对手恶意刷外链,也就是说竞争对手恶意的给你发了很多的不存在的页面链接,当蜘蛛发现之后就会来爬取

b、以前做的外链,后来由于网站改版而某些链接没有及时的去除,蜘蛛定期回访的时候爬取了这条链接

c、此种仅限老域名,之前的网站结构和我们现在的网站结构不一致,也类似于b中的说法

d、robots文件没有对蜘蛛进行限制

e、程序的原因,导致搜索引擎蜘蛛掉入黑洞

f、url提交或者ping给百度地址有误

蜘蛛爬取不存在的页面,一般情况下都是由于这些问题导致的,其中最主要的原因就是外链部分,所以我们要经常性的去检查下我们网站的外链情况。

解决方法:

这些方面综合来讲,一般我们只需要这么做,基本就能够减少这种情况的发生,如果是链接导致的,那么就去百度站长平台使用外链拒绝工具拒绝掉,并提交网站的死链接,同时使用robots屏蔽蜘蛛抓取这些内容;如果是程序问题,就修复程序。

标签:蜘蛛
司瓦图胡经理
技术客服,免费咨询
技术客服司瓦图胡经理
司瓦图网络自2007年正式注册成立,目前提供各类平台系统定制,包括电商平台开发,微信小程序定制开发,微信平台定制开发,企业官网制作以及400电话开通等服务!

全国服务热线4000-522-555周一至周六8:30-18:00

电竞竞猜APP地址:合肥市政务区天珑广场5号甲级写字楼1007-1008室

老张个人微信

老张原创分享

Copyright © 2018 版权所有:合肥司瓦图网络科技有限责任公司 ALL Rights Reserved  
皖ICP备07007410号
司瓦图老张头像
司瓦图老张
老张自05年进入互联网行业,一直从事互联网平台开发行业,服务项目主要有:平台定制开发,电商平台开发,微信商城,微信小程序等。
司瓦图老张微信
加拿大28信誉平台 皇冠体育 保赢投注法 爱乐透彩票 皇冠足彩 北京快乐8怎么买 lol电竞彩票 开心生肖 江苏快3 双色球机选 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 北京赛车平台复制打开网址【82324.com】 澳门百家乐平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 秒速飞艇平台复制打开网址【82324.com】 重庆时时彩平台复制打开网址【82324.com】 重庆时时彩平台复制打开网址【82324.com】 重庆时时彩平台复制打开网址【82324.com】 加拿大28平台复制打开网址【82324.com】 加拿大28平台复制打开网址【82324.com】 加拿大28平台复制打开网址【82324.com】 秒速快3平台复制打开网址【82324.com】 秒速快3平台复制打开网址【82324.com】 秒速快3平台复制打开网址【82324.com】 彩票开户平台复制打开网址【82324.com】 彩票开户平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运28平台复制打开网址【82324.com】 幸运28平台复制打开网址【82324.com】 幸运28平台复制打开网址【82324.com】 快乐赛车平台复制打开网址【82324.com】 快乐赛车平台复制打开网址【82324.com】 快乐赛车平台复制打开网址【82324.com】 太阳城娱乐平台复制打开网址【82324.com】 太阳城娱乐平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 盛世彩票平台复制打开网址【82324.com】 盛世彩票官网 复制打开网址【82324.com】 盛世彩票官网 复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 大发彩票平台复制打开网址【82324.com】 大发彩票平台复制打开网址【82324.com】 大发彩票平台复制打开网址【82324.com】 迪士尼彩票官网平台复制打开网址【82324.com】 加拿大28预测平台复制打开网址【82324.com】 加拿大28预测平台复制打开网址【82324.com】 加拿大28预测平台复制打开网址【82324.com】 太阳城平台复制打开网址【82324.com】 太阳城平台复制打开网址【82324.com】 幸运飞艇平台复制打开网址【82324.com】 幸运飞艇平台复制打开网址【82324.com】
分享到:QQ空间新浪微博腾讯微博人人网微信