简单剖析搜索引擎蜘蛛的分类

前面的几篇文章中我么介绍了几种seo初学者需要理清的关系，下面小编为大家简单剖析搜索引擎蜘蛛的分类。按照抓取内容的不同可以将搜索引擎蜘蛛分为以下几类：

A.全文索引

全文搜索引擎从网站提取信息,建立网页数据库。搜索引擎的自动信息搜集功能分两种。

一种是定期搜索,即每隔一段时间(如 Google一般是28天),搜索引擎主动派出蜘蛛程序,对一定IP地址范围内的互联网网站进行检索,一旦发现新的网站会自动提取网站的信息和网址并将其加入自己的数据库。

另一种是提交网站搜索,即网站拥有者主动向搜索引擎提交网址。搜索引擎在一定时间内(2天到数月不等)向网站派出蜘蛛程序,扫描网站并将有关信息存入数据库以备用户查询。后来,搜索引擎索引规则发生了很大变化,主动提交网址并不能保证网站进入搜索引擎数据库,因此,最好的办法是多获得一些外部链接,让搜索引擎有更多的机会找到并自动收录网站。

当用户以关键词查找信息时,搜索引擎会在数据库中进行搜寻。如果找到与用户要求内容相符的网站,便采用特殊的算法(通常根据网页中关键词的匹配程度、出现的位置、频次、链接质量)计算出各网页的相关度及排名等级,然后根据关联度的高低,按顺序将这些网页链接返回给用户。这种引擎的特点是搜全率比较高。

B.目录索引

目录索引也称“分类检索”,是因特网上最早提供WWW资源查询的服务。它主要通过搜集和整理因特网的资源,根据搜索到的网页内容,将其网址分配到相关分类主题目录的不同层次的类目之下,形成像图书馆目录一样的分类树形结构索引。目录索引无须输入任何文字,只要根据网站提供的主题分类目录层层点击进入,便可查到所需的网络信息资源。

目录索引虽然有搜索功能,但在严格意义上它不是真正的搜索引擎,只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息,不需依靠关键词( Keyword)进行查询。与全文搜索引擎相比,目录索引有许多不同之处。首先,搜索引擎属于自动网站检索,而目录索引则完全依赖手工操作。用户提交网站信息后,目录编辑人员会亲自浏览网站,然后根据一套自定的评判标准甚至编辑人员的主观印象决定是否接纳该网站。

其次,搜索引擎收录网站时,只要网站本身没有违反有关的规则,一般都能成功登录;而目录索引对网站的要求则高得多,有时登录多次也不一定成功。尤其像Yahoo这样的超级索引,登录更是困难。此外,在登录搜索引擎时,一般不用考虑网站的分类问题,而在登录目录索引时则必须将网站放在一个最合适的目录( Directory)下。

最后,搜索引擎中各网站的有关信息都是从用户网页中自动提取的,所以从用户的角度看,我们拥有更大的自主权;而目录索引则要求必须手工填写网站信息,而且还有各种各样的限制。更有甚者,如果工作人员认为我们提交网站的目录、网站信息不合适,可以随时对其进行调整,当然事先是不会和我们商量的。

C.元搜索

元搜索引擎( METASearch Engine)接受用户查询请求后,同时在多个搜索引擎上搜索,并将结果返回给用户。著名的元搜索引擎有 InfoSpace、 Dogpile、 Vivisimo等,中文元搜索引擎中具有代表性的是搜星搜索引擎。在搜索结果排列方面,有的直接按来源排列搜索结果,如 Dogpile;有的则按自定规则将结果重新排列组合,如Vivisimo。

以上就是小编为大家分享的关于搜索引擎蜘蛛的分类的文章，文章主要内容来源于网络，由小编整理发布，如有侵权请联系本网站!