企业建网站时如何设置Robots.txt文件

2022-05-18 分类：网站建设

做网站的朋友可能都听说过Robots.txt文件，这个Robots.txt是网站与搜索引擎沟通的一个重要的渠道，通过这个文件，可以告诉搜索引擎自己做的网站那些页面可以允许他们收录，那些不允许他们收录。那么自己就可以在建网站的时候，通过这个文件和搜索引擎达成协议。

Robots.txt文件必须要放在网站根目录的下面，搜索引擎也会自动地根据网站域名，自动的找到这个文件来判断自己是否可以收录这个页面。如果自己的网站允许搜索引擎可以收录自己网站的所有的内容，那么就可以不放这个文件。

要放相关的文件的话，就要做Robots.txt，那么就要符合相关的格式，格式内容是用一个记事本命名为Robots.txt。里面写上下面的内容。大家可以在建网站的时候做好之后传到网站根目录下。

格式如下：

User-agent:*

这个指的就是针对所有的搜索引擎蜘蛛代理

Disallow:/search.html

Disallow是不允许的意思，这一行说明的是不允许收录/search.html这个文件；

Disallow:/index.php?

这一行说的是不允许搜索引擎收录URL里面包含index.php?的文件；

Disallow:/tempweb/

这一行说的是不允许搜索引擎收录这个文件夹/tempweb/里面所有的内容。

很多建网站的朋友做了这个文件之后不是很自信，这个时候，不妨可以找一些大型的网站，去看看他们的是怎么做的，对比一下自己的是不是有错误，自己就会确信其效果了。

另外需要注意一些符号是否有错误，比如大小写空格啊什么的，尽量不要用一些复杂的参数；尽量的采用这种比较简洁的方式来屏蔽自己一些不想让搜索引擎收录的内容。
大家可能听说过一些网站被人恶意的修改Robots.txt文件，本来排名很好的被修改后，搜索引擎就不收录了，所以大家在做网站维护的时候，有时候要不断地检查下自己的这个Robots.txt文件。

新闻名称：企业建网站时如何设置Robots.txt文件
标题链接：/news31/154781.html

成都网站建设公司_创新互联，为您提供动态网站、关键词优化、营销型网站建设、做网站、全网营销推广、电子商务

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容

企业网站做优化中保持网站的更新有哪些作用？ 2022-05-18
小游戏需使用官方支付方式，开发者请自查 2022-05-18
玩转社区与社群：6句话，便让用户不再沉默！ 2022-05-18
会电脑编程就一定会做企业网站吗？NO、NO、NO 一起来了解一下： 2022-05-18
企业建设好一个网站后能持续使用多久最终还是取决于企业自己 2022-05-18
网络营销推广存在的问题及解决建议 2022-05-18
手机网站百度优化相关问题解答 2022-05-18
我在百度贴吧发的信息为什么看不到？什么原因？如何应对？ 2022-05-18
小程序和企业应用风口已来丨听朱啸虎谈小程序投资的那些事儿 2022-05-18