八八宁SEO--南京网站优化推广公司!| 南京SEO
您当前位置:SEO首页 > SEO网站优化 > 网站优化中设置robots有什么好处

网站优化中设置robots有什么好处

TAG:网站优化 robots seo          文章来源:八八宁科技          发布时间:2012-11-13 12:10          阅读:

    在做网站优化的时候做seo的朋友都知道要设置robots.txt,那设置robots有什么好处呢?robots主要是针对于搜索引擎蜘蛛爬虫而言的,我们可以根据我们网站自身的需求对搜索引擎进行更好的友好和优化!今天八八宁科技在这里简单的介绍下关于robots.txt的好处:搜索引擎在抓取每个网站之前都会先检查下网站目录下有没有robots.txt文件,如果我们网站有些内容不想被搜索引擎抓取收录的话可以在robots.txt里设置下告诉搜索引擎,你走吧,我不需要你抓取收录,那样的搜索引擎机器人等只会爬向你允许的网页进行抓取收录!如果你网站没有禁止搜索引擎抓取收录的内容,都可以让搜索引擎自由抓取收录的话,那你就不用设置什么robots.txt文件了,或是直接设置为空,也可以不需要robots.txt文件,不过个人建议还是带上robots.txt文件!还有在我们网站改版或者出现很多错误页面的时候,或者出现异常的页面,我们都可以用robots去屏蔽蜘蛛爬行那个页面,这样搜索引擎对于网站更加友好!
好了,关于在网站优化的时候设置robots好处就说这么多了,希望对大家有点帮助!

文章作者: 八八宁SEO
本文地址: http://www.babaning.com/seo-service/robots-haochu/
版权所有 @ 未注明“转载”的文章一律为原创,转载时必须以链接形式注明作者和原始出处!
如果你觉得文章不错,您可点击这里推荐给你的朋友哦!【点击百度搜索更多的seo教程

分享到:
地址:江苏省南京市玄武区珠江路88号新世界中心B座 咨询热线:400-0288-880(全国)
Copyright © 南京SEO·南京八八宁信息科技有限公司 版权所有 2012 www.babaning.com All Rights Reserved. 南京网站优化 | 南京网站建设