网站从上线到现在有一个月了，但是百度和360收录一直只有首页，谷歌收录有50，没有内页就一直很奇怪，之前一直以为是关键词优化问题，想着才上线跟新估计是这样的。但是后来发现其他比我上线晚优化一般的网站收录虽然不多，但是会有内页。在百度历史收录记录里面发现有以前的内页记录，但是是用的1个默认模版的时候。所以我在想是不是内页屏B了我所有的收录界面，结果一查果然如此。
robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。为了避免站长在设置robots文件时出现，百度站长平台特别推出了robots工具百度robots工具，帮助站长正确设置robots。
这个东西一般在网站的根目录下面，如果你和我一样目前使用的网上套用的模版，大部分不会有这个文件（因为不会自己给你安装到你根目录下）,如果发现有不懂的话可以直接干掉。
首先看看有没有这个标签样式：<meta name="robots" content="">
然后再看看你们的样式是如何写的：
robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。
robots.txt文件和两者的功能是一样的。
Meta robots标签必须放在<head>和</head>之间，格式： <meta name="robots" content="index,follow" />
后来检查模版的文件中在head.php文件中确实也申明了以下文件：<meta name="robots" content="index,nofollow" />,所以只会抓取了首页不会在继续往下根踪
content中的值决定允许抓取的类型，必须同时包含两个值：
是否允许索引（index）和链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
index,follow：允许抓取本页，允许根踪链接。
index,nofollow：允许抓取本页，但禁止根踪链接。
noindex,follow：禁止抓取本页，但允许根踪链接。
noindex,nofllow：禁止抓取本页，同时禁止根踪本页中的链接。
根据这个可以写出四种组合
<meta name="robots" content="index,follow" />：可以抓取本页，而且可以顺着本页继续索引别的链接
<meta name="robots" content="noindex,follow" />：不许抓取本页，但是可以顺着本页抓取索引别的链接
<meta name="robots" content="index,nofollow" />：可以抓取本页，但是不许顺着本页抓取索引别的链接
<meta name="robots" content="noindex,nofollow" />：不许抓取本页，也不许顺着本页抓取索引别的链接。
可以分开写也可以合并以上1和4还有另一种写法：
index,follow可以写成all，如：<meta name="robots" content="all" />
noindex,nofollow可以写成none，如：<meta name="robots" content="none" />
后，建议大家不要太刻意的在robots.txt中设置过多禁止文件或目录，只设置确实不希望被搜索引擎索引的目录和文件就可以了。如果你碰到的问题和我一样，那么你可以检查下你的网站目录是不是也有这个文件，或者申明呢？但是建议不要轻易禁止抓取，毕竟我们需要的是流量。
郑州蓝创科技（郑州网站建设,免费做网站,手机网站建设，郑州系统开发）开发团队——由一批具有国内著名网络公司服务背景的网络精英所组成，年轻、富有活力，是一家集互联网开发、网络运营、互联网服务于一体的网络科技公司。致力于互联网技术服务、网站建设、网站优化、手机网站建设以及微信营销等，为企事业单位提供一站式、全方位整合网络品牌服务。
相关推荐
