2020-07-24 分类: 网站建设
【robots.txt怎么写】Robots.txt写法和放在哪里详解
1、什么是Robots,熟练掌握Robots的基础语法是一个合格的成都seoer的基础技能,写出你对本节课的理解
Robots是指网站与搜索引擎之间的协议,下列三小点是需要自己记住的:
1.Robots是存放在网站根目录
2.Robots.txt是放在网站根目录
3.robots.txt文件名是不可修改的
4.Robots也是百度蜘蛛第一先抓取的
2、robots形式及定义:
User-agent:Baiduspider(定义所有的百度蜘蛛)
Disallow:/
User-agent:定义所有的蜘蛛
Baiduspider:百度蜘蛛
Googlebot:谷歌机器人
MSNBot:msn机器
Baiduspider-image:百度图片
Disallow:定义那些文件可以抓取,那些文件不可以抓取
Allow:允许
小结:网站优化必须要有robots,robots格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文,例如:
同时需要注意的是:在编辑时Disallow:/要空一格如下图所示
*:定义所有的蜘蛛通配符
/:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思
Robots生效时间是多少,是由百度决定的,有可能是1个月或者2个月
附注:放行也是需要生效时间的
$:结束符
附注:同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。
网站标题:【robots.txt怎么写】Robots.txt写法和放在哪里详解
本文来源:/news/84029.html
成都网站建设公司_创新互联,为您提供营销型网站建设、标签优化、App开发、电子商务、企业网站制作、网站改版
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联
猜你还喜欢下面的内容