SEO中国站 | SEO站长社区      SEO中国站专注为企业提供搜索引擎优化(SEO)服务,中国SEO服务诚信高效品牌      关于我们 | 客户服务 | SEO博客 | 加入收藏 | RSS订阅

SEO中国站:提供SEO服务|网站优化,搜索引擎优化(SEO)服务专业平台

SEO中国站专业为中小型企业提供SEO服务搜索引擎优化中国SEO在线诚信服务平台,如需更多咨询和交流,请点击客户服务中心交谈,QQ:176128596!
返回首页
当前位置: 首页 > 网站优化 >

正确使用Robots.txt的一些好处和方法

时间:2011-05-29 11:09来源:SEO中国站 作者:seocnz 点击:
正确使用Robots.txt的一些好处和方法,从一下5点讲解Robots.txt的一些好处和方法,希望对大家能有所帮助: 一、利用Robots.txt节省服务器带宽 一般来说站长很少去做这样一个设置,然而当服务器访问量大内容过于多的话就有必要做一个设置来节省服务器的带宽,
  

     正确使用Robots.txt的一些好处和方法,从一下5点讲解Robots.txt的一些好处和方法,希望对大家能有所帮助:

 

  一、利用Robots.txt节省服务器带宽

 

  一般来说站长很少去做这样一个设置,然而当服务器访问量大内容过于多的话就有必要做一个设置来节省服务器的带宽,如屏蔽:image这样的文件夹,对于搜索引擎索引来说没有什么实际性的意义还浪费了大量的带宽。如果对于一个图片网站来说,消耗更是惊人的,所以利用Robots.txt可以充分解决这一点。

 

  二、保护网站安全目录

 

  一般来说在设置Robots.txt时都要把管理目录以及数据库、备份目录设置进去,进制蜘蛛的爬行,否则容易造成数据的泄露影响网站的安全。当然还有一些管理员不希望蜘蛛索引的其他目录,同样可以将其进行设置,这样来说搜索引擎就可以严格的遵守这个规则来进行索引。

 

  三、禁止搜索引擎索引页面

 

  一个网站总有一些不希望公众看到的页面,这个时候我们可以用Robots.txt来进行设置,避免蜘蛛对其索引,如前段日子笔者网速比较慢结果更新了一篇文章,导致连续重复发布了3次,结果全部被搜索引擎索引,怎么办呢?重复的内容必然对网站优化是不好的,这时候便可以通过设置Robots.txt来将多余的页面屏蔽掉。

 

  四、Robots.txt链接网站地图

 

  由于蜘蛛访问网站首先查看的便是Robots.txt这个文件,那么我们可以将网站地图设置进去,更有利于蜘蛛索引最新的信息,而少走许多冤枉路。如显示专业网站建设公司引航科技的地图页:http://www.****.net.cn/ sitemap.xml这样加到Robots.txt中更是有利于搜索引擎的索引。也不用每天麻烦的到搜索引擎提交地图文件,不是很简便吗?

 

  五、写法及注意事项

 

  对于Robots.txt写法一定要规范,写法上疏忽不注意的人并不在少数。首先来说:User-agent:*是必须要写的,*表示针对所有搜索引擎。Disallow:(文件目录)不包括括号,表示禁止搜索引擎索引的意思,一下举个例子具体说明:

 

    示例1:
  User-agent:*
    Disallow:/
    表示禁止任何搜索引擎索引访问,

    示例2:

    User-agent:*
    Disallow:/seebk
    表示禁止搜索引擎索引访问seebk目录

    示例3:

  User-agent:baiduspider
  User-agent:*
  Disallow:/

    表示只允许百度蜘蛛堆砌索引访问:百度:baiduspider,谷歌:googlebot,搜搜:sosospider,alexa:ia_archiver,雅虎:Yahoo Slurp
    示例4:

    User-agent:*
    Disallow:.jpg$

    防止盗链jpg图片,如果你的带宽足够的话可以不设置。

 

    后语:优化Robots.txt扬己之长避己之短,做好Robots.txt更易网站顺畅优化发展。

 

 

文章出处:www.seocnz.com
SEO中国站专注企业SEO服务SEO优化,网站优化,中国SEO诚信服务品牌。
本文seocnz保留所有,转载请以连接形式注明出处。

------分隔线----------------------------

------分隔线----------------------------
你还可以阅读以下相关文章 [精华导读]
发表评论
请自觉遵守互联网相关政策法规,作者管理后台可以删除恶意评论、广告和违禁词语。。
验证码:点击我更换图片
SEO中国站优化服务官方微薄
推荐内容
SEO服务