网站robots协议对SEO优化的影响

在搭建网站时，如果使用的是模板系统，那么它的源文件中一般都会包含一个名为：robots的txt文件，那么这个文件是起到什么作用呢？它对优化的影响又是怎样的？

首先，robots.txt协议对于搜索引擎蜘蛛来说，就相当于一份入境申明，在文本中，它表明了，网站中哪些页面允许蜘蛛前往、哪些页面允许拍照（也就是索引和抓取）、那些页面是蜘蛛的禁区。蜘蛛在爬行、抓取网站内容之前，都会阅读robots协议，然后前往允许其爬行的页面。

然后，我们再来说说robots协议对seo优化的影响，前面我们已经说到，robots协议可以限制搜索引擎能读取哪些页面，那些被限制的页面，搜索引擎都无法访问，更别谈抓取和收录了。所以，被robots协议限制访问的页面，一般都不会被搜索引擎收录（首页、栏目首页除外），其中的内容也不会对SEO优化产生有益影响。也就是说在robots协议限制区域更新内容，对于SEO优化来说是无用功。

所以，如果我们非常依赖于搜索引擎的流量，那么我们最好将我们的所有对外展示页面都设置为允许搜索引擎访问，这样才可以将我们的每一次更新，都转化为网站排名的加分。

最后，还需提到的一点，就是如果您的网站，知名度足够大，粉丝数量足够多，那么即使您所有页面都不允许搜索引擎蜘蛛访问，也可以在搜索引擎获取非常多的流量，这其中的代表网站：淘宝网，便是如此。