2016-06-13 分类: 网站建设
当我们有时候site网址查看网站快照,可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,我们可能会觉得奇怪,怎么会出现这种问题呢?难道是搜索引擎的蜘蛛出问题了吗?当然不是的,出现这种情况,大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照,搜索引擎蜘蛛为了遵循网站的robots.txt约定,没有将除title的其他内容展示出来。
那么发现了这个问题我们应该怎么办呢?首先,找到根目录下的robots.txt,用记事本打开,将仔细查看里面的disallow语句,找到disallow:/,对这个就是限制了蜘蛛抓取整个网站目录的指令,把这行去掉,保存退出。然后我们要到百度站长工具里面,重新提交robots文件,目的是为了告诉搜索引擎,我的robots文件已经做了修改,目录限制抓取已经解除。这样,等下次快照更新,你的网站可能就会正常了,当然,有时候百度更新是很慢的,这时候你也不要着急,可能要过一段时间才能正常收录并抓取,只要耐心等待即可。
分享题目:发现robots.txt文件存在的限制指令后怎么办?
转载来于:/news12/40812.html
成都网站建设公司_创新互联,为您提供星空体育app最新版本(2024已更新)、外贸网站建设、ChatGPT、品牌网站建设、关键词优化、软件开发
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联
猜你还喜欢下面的内容