2022-06-04 分类: 网站建设
1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
2、允许所有的robot访问(或者也可以建一个空文件 "/robots.txt")
第1种写法
User-agent: *
Allow: /
第2种写法
User-agent: *
Allow:
第3种写法
User-agent: *
Disallow:
3、仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
4、仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Allow: /
5、禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。
需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6、允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
7、使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)
User-agent: *
Disallow: /cgi-bin/*.htm
8、使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: / .htm$
9、禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10、禁止Baiduspider抓取网站上所有图片,仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /* .jpeg$
Disallow: /* .gif$
Disallow: /* .png$
Disallow: /*.bmp$
11、仅允许Baiduspider抓取网页和。gif格式图片允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: /.jpg$
Disallow: / .jpeg$
Disallow: / .png$
Disallow: /.bmp$
12、仅禁止Baiduspider抓取,jpg格式图片。
User-agent: /Baiduspider
Disallow: /.jpg$
附件:百度各个产品使用不同的user-agent
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
网页以及其他搜索 Baiduspider
名称栏目:robots.txt文件用法举例
文章链接:/news26/163226.html
成都网站建设公司_创新互联,为您提供网站设计、做网站、响应式网站、定制网站、微信小程序、静态网站
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联
猜你还喜欢下面的内容