2016-10-27 分类: 网站建设
robots协议书是正确引导蛛蛛抓取网站地形图,也用于维护网站信息和比较灵敏信息内容,保证客户私家信息和隐私维护不被损害。存有于网站根目录正,以文件格式存有,留意robots文件夹名称不可以随意改变。
SEO高手为什么要懂robots?
书写::表达关于某一爬虫,
:表达制止抓取
:容许抓取
.*通配符,表达悉数
.$结束符,表达以哪些结尾
/根域下就是指网站根目录
注:灶具显现英文情况下的,并且后边有一个空格符,首写有必要小写。
例:
1、User-agent:*Disallow:/关于悉数爬虫制止抓取根目录下的悉数衔接
2、User-agent:BaiduspiderDisallow:/制止百度爬虫抓取网站悉数联接
3、User-agent:*Disallow:/a/关于悉数的爬虫制止抓取网站根目录下的a目录
4、User-agent:*Disallow:/a关于悉数的爬虫制止抓取网站根目录下为“a”开端的文档
5、User-agent:*Disallow:/*?*(?表达动态性符)制止抓取网站根目录下带?号的动态性衔接
6、User-agent:*Disallow:/*.js$制止抓取网站根目录下边以.js结尾的文档
7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取网站根目录下边“a”,容许抓取“a”目录下边的“b”目录。
8、User-agent:*Disallow:/a/Allow:/a/b制止抓取网站根目录下边“a”目录,容许抓取“a”目录中以“b”开端的文档。
当前标题:SEO高手需要懂得什么呢?
网站网址:/news35/53185.html
成都网站建设公司_创新互联,为您提供外贸网站建设、App设计、企业网站制作、ChatGPT、网站内链、Google
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联
猜你还喜欢下面的内容