网站出现抓取异常，有什么办法可以避免

2014-03-22 分类：网站建设

站长们为了能够更好的检测网站优化的情况，几乎每天都会做一日常的统计，而网站的抓取是否出现异常也是在这个数据统计的行列中，然后根据每日的记录下来的情况，站长们还要做一些分析和优化措施。那么出现异常抓取的原因是什么?

什么是网站异常抓取?

这个就是在正常的条件下，百度蜘蛛所抓取的页面与呈现给访客的页面内容是一样的，但是除此之外的一切就是非正常情况，从而导致蜘蛛无法正常抓取页面。这个样子的就被称为抓取异常，抓取异常存在的原因是什么?

用百度搜索资源平台诊断网站的抓取异常情况，如果发现偶尔抓取失败，则属于正常情况，不会对网站的正常抓取和收录造成影响。但如果抓取失败出现持续性的，则要引起注意了，根据网站出现抓取异常的具体原因做具体的分析。

一、网络异常

①、DNS异常：当网址出现了IP地址错误，或者域名服务商将搜索引擎封禁的其中一种情况时，就会导致搜索殷勤无法解析这个网站的IP底子，会出现dns异常。

②、链接超时：当服务器过载，或者是网络不稳定等情况，就会导致搜索引擎无法抓到页面。

③、抓取超时：一个网站页面的加载速度一直时一个严重的问题，对用户和搜索引擎的体验是有着一个很大的影响，但是如果服务器过载，夸带不足，搜索引擎虽成功建立了抓取请求，但是因为页面的速度过慢，无法在第一时间内抓取页面，从而导致抓取超时。

④、连接错误：当服务器运行不正常，导致搜索引擎无法连接上网站服务器，或者在连接之后，对方服务器拒绝你的请求，这些都会导致搜索引擎连接错误。

二、链接异常

①、服务器错误：因为服务器错误，导致网站出现了5XX类型的错误，在搜索引擎抓取时，正确的返回状态码是5XX。

②、找不到页面：

页面无法访问，是比较典型的404错误。在搜索引擎抓取时，正确的返回状态码是404。

③、访问被拒绝

搜索引擎抓取页面时，所发出的请求被拒绝，导致网站出现403错误。在搜索引擎抓取时，正确的返回状态码是403。

④、其他错误

还可能发生其他的错误，导致网站出现4XX类型错误。在搜索引擎抓取时，正确的返回状态码是4XX，不包括403和404。

如果网站出现抓取异常的话，会让搜索引擎认为这个网站，在用户整体的一个体验上是有着一些缺陷的，并且降低了对网站的评价，在抓取。索引、权重上都会受到一定程度的负面影响，从而影响到整个网站的流量。

文章来源：创新互联优化

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容