robots文件是啥有什么作用?robots文件使用技巧

搜索引擎优化不仅仅是关键字，链接和内容，现在搜索引擎的算法不断的升级，我们网站可能存在很多SEO的缺陷，所以我们需要对自己网站进行一个SEO诊断，今天成都网络推广的小编带大家来看看网站诊断之robots文件的使用细节，希望大家喜欢!

robots文件是啥有什么作用?robots文件使用技巧

robots文件究竟有什么用?

robots.txt是你对搜索引擎制定的一个爬虫爬行你的网站的规则，是每一个搜索引擎约定俗成的规则。通过该文件，搜索引擎就可以知道在你的网站中哪些文件是可以被抓取的，哪些文件是被拒绝抓取的，我们就可以很方便地指引搜索引擎集中权重网站的内容了。当然还有保护网站安全、屏蔽死链页面、提交网站地图等作用!

什么条件下使用robots协议?

①作用微小的页面：无论大站，还是小站都有联系我们，用户协议等页面，这些页面相对于搜索引擎优化，效果甚微，此时你需要使用Disallow命令来禁止这些页面被搜索引擎爬行。

②动态显示页面：很多企业类型站点应该屏蔽动态页面，有利于网站安全。且可以避免重复页面，因为多个网址访问同一页面，会造成权重分散。因此，一般情况下，屏蔽动态页面，保留静态或伪静态页面。

③网站后台管理页面：网站后台是给管理员使用的，对于用户来说一点作用也没有，还有浪费搜索引擎爬虫资源，所以禁止这些是非常必要的。

如何书写robots文件?

User-agent表示定义哪个搜索引擎。如User-agent：*，表示允许所有搜索引擎。Disallow表示禁止访问。如：Disallow: /admin，表示禁止访问网站后台管理目录。Allow表示运行访问，这个与Disallow是相对的，禁止了不想抓取的，剩余的都可以抓取。通过以上三个命令，可以组合多种写法，允许哪个搜索引擎访问或禁止哪个页面。