Robots协议什么时候用?如何正确使用Robots协议呢?今天郑州网站建设公司蓝创科技小编根据这个问题,给大家分享下个人的简介。
Robots协议是各大搜索迎请公认的隐私网页保护权益,那么郑州网站建设蓝创科技小编认为,如果说我们的网站有哪些页面是不想要被百度蜘蛛抓取的,那么我们就可以使用Robots协议来屏蔽蜘蛛抓取我们的页面。
首先,Robots协议怎么去写:
User-agent: *
Disallow: /?
Disallow: /pic
sitemap: http://www.xxx.com/sitemap.html
1.告知所有的搜索引擎蜘蛛,这里的*代表的所有的搜索引擎种类
2.但不允许抓取带“?”的URL
3.不允许抓取”/PIC”该文件下的内容
4.这个站点网站地图抓取地址
是不是经过讲解以后就觉得豁然开朗了很多呢?那我们来讲下,我们的网站到底要不要加上Robots协议呢?郑州网站制作公司蓝创科技小编在一下两种情况下使用,1种就是:此网站的某页面内容不对外公开;第二种就是:为了节省网站吱声抓取配额。以上两种情况下,一般小编就会使用Robots协议。
如果您在使用的时候,记住请Robots协议什么意思就可以用的得心应手了。郑州蓝创科技一个专业做网站的公司,10年品牌经验,如果您需要高端网站制作请与我们联系,郑州网站建设电话:0371-55220999