您现在的位置:[电竞竞猜APP]电商平台 > 优化网站配置之robots文件使用说明

优化网站配置之robots文件使用说明

发布日期:2013-11-27 阅读次数:1504

随着个人能力的提升,我开始由开始负责一些新项目操作,虽然这些项目所优化的关键词排名进度还算比较好,但在操作过程中我遇到了很多问题,这些问题的发现、解决让我认识到了SEO工作中细节的重要性,可谓是细节决定成败。特别是通过项目的实战操作,让合肥网站制作小编时刻的认识到了robots文件在网站优化中的重要性。所以,seo童鞋们,特别是一些初涉seo领域的童鞋们,一定要熟练的掌握robots文件使用说明及其事项。
  Robots文件,严格说来是robots.txt文件,它的真正内涵应该如何理解呢?其实robots.txt不是命令,而是一个协议。搜索引擎在抓取一个网站内网页的时候,会先抓取robots.txt文件,所以这个文件存在的意义就是告诉搜索引擎哪些页面可以被抓取,哪些页面不能被抓取。当搜索引擎抓取网站内的网页时,它会首先访问网站根目录下的robots文件,如果存在这个文件,搜索引擎会按照文件中定义的内容进行抓取,如果没有的话,搜索引擎就会抓取一切被允许它能够抓到的页面。在我的理解中,robots文件就像是告诉搜索引擎哪些页面该访问,哪些搜索引擎不该访问。
  那么robots.txt文件的真正写法是什么呢?在操作荣利站点的时候,由于这个站点以前是老站点,而且是动态页面,现在是被调成了静态页面,所以里面会有很多原先的文件都消失了,所以搜索引擎就无法抓取到,会出现很多抓取错误,多达两千个,这就很有必要运用robots文件把这些已经找不到的页面定义掉,让搜索引擎不再抓取。这些内容就牵涉到robots.txt文件的书写问题。Robots文件中有两个基本原则,是最简单的robots文件要写的,第一是User-Agent: 适用下列规则的漫游器 ;第二是Disallow: 要拦截的网页,而Allow是定义允许搜索引擎收录的地址。所以robots的文件写法有以下:
  User-agent: * (这里的*代表的所有的搜索引擎种类,*是一个通配符 )
  Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
  Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
  Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
  Disallow: /A 是屏蔽A目录下的所有文件,包括文件和子目录,还屏蔽 /A*.*的文件
  Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
  Disallow: /*?* 禁止访问网站中所有的动态页面
  Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
  Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
  Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
  Allow: /tmp 这里定义是允许爬寻tmp的整个目录
  Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
  Allow: .gif$ 允许抓取网页和gif格式图片
  而在我的站点操作中,会用到的有两个,即是最简单的robots文件的基本原则,它们分别是
  User-agent: *
  Disallow:/english/(即定义掉english目录下面的文件)  

  写robots.txt文件要注意:robots.txt文件必须被放置在一个站点的根目录下,一般需要在网站后台添加;robots.txt文件名必须小写。这两点看似很简单,在操作时是很多seo童鞋们是很容易犯错误的,所以还是提醒一下。
  现在手上的seo项目越来越多,也真正的感受到了seo工作并不是一件简单的事情。这也告诉我:以后在操作seo项目时,要注意细节,这样操作的操作才会越来越有把握。

标签:robots文件
司瓦图胡经理
技术客服,免费咨询
技术客服司瓦图胡经理
司瓦图网络自2007年正式注册成立,目前提供各类平台系统定制,包括电商平台开发,微信小程序定制开发,微信平台定制开发,企业官网制作以及400电话开通等服务!

全国服务热线4000-522-555周一至周六8:30-18:00

电竞竞猜APP地址:合肥市政务区天珑广场5号甲级写字楼1007-1008室

老张个人微信

老张原创分享

Copyright © 2018 版权所有:合肥司瓦图网络科技有限责任公司 ALL Rights Reserved  
皖ICP备07007410号
司瓦图老张头像
司瓦图老张
老张自05年进入互联网行业,一直从事互联网平台开发行业,服务项目主要有:平台定制开发,电商平台开发,微信商城,微信小程序等。
司瓦图老张微信
加拿大28信誉平台 皇冠体育 保赢投注法 爱乐透彩票 皇冠足彩 北京快乐8怎么买 lol电竞彩票 开心生肖 江苏快3 双色球机选 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 真人百家乐平台复制打开网址【82324.com】 北京赛车平台复制打开网址【82324.com】 澳门百家乐平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 秒速飞艇平台复制打开网址【82324.com】 重庆时时彩平台复制打开网址【82324.com】 重庆时时彩平台复制打开网址【82324.com】 重庆时时彩平台复制打开网址【82324.com】 加拿大28平台复制打开网址【82324.com】 加拿大28平台复制打开网址【82324.com】 加拿大28平台复制打开网址【82324.com】 秒速快3平台复制打开网址【82324.com】 秒速快3平台复制打开网址【82324.com】 秒速快3平台复制打开网址【82324.com】 彩票开户平台复制打开网址【82324.com】 彩票开户平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运快乐8平台复制打开网址【82324.com】 幸运28平台复制打开网址【82324.com】 幸运28平台复制打开网址【82324.com】 幸运28平台复制打开网址【82324.com】 快乐赛车平台复制打开网址【82324.com】 快乐赛车平台复制打开网址【82324.com】 快乐赛车平台复制打开网址【82324.com】 太阳城娱乐平台复制打开网址【82324.com】 太阳城娱乐平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 秒速赛车平台复制打开网址【82324.com】 盛世彩票平台复制打开网址【82324.com】 盛世彩票官网 复制打开网址【82324.com】 盛世彩票官网 复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 香港马会资料平台复制打开网址【82324.com】 大发彩票平台复制打开网址【82324.com】 大发彩票平台复制打开网址【82324.com】 大发彩票平台复制打开网址【82324.com】 迪士尼彩票官网平台复制打开网址【82324.com】 加拿大28预测平台复制打开网址【82324.com】 加拿大28预测平台复制打开网址【82324.com】 加拿大28预测平台复制打开网址【82324.com】 太阳城平台复制打开网址【82324.com】 太阳城平台复制打开网址【82324.com】 幸运飞艇平台复制打开网址【82324.com】 幸运飞艇平台复制打开网址【82324.com】
分享到:QQ空间新浪微博腾讯微博人人网微信