搜索引擎分词算法

当日益剧增的海量信息让我们眼花缭乱时，搜索引擎的出现可以让我们快速找到自己想要的答案。因此多了解搜索引擎的分词算法，可以让网站在搜索引擎上获得更好的展现机会。网站建设小编在讲解中文分词技术之前，先来了解下全文检索技术。

　全文检索技术

　　全文检索是指索引程序扫描文章中的每个词并建立对应索引，记录该词出现的位置和次数。当通过搜索引擎查询时，检索程序就在记录的索引进行查找并返回给用户。全文检索又分为基于字的全文索引和基于词的全文索引。基于字的全文索引会对内容中的每个字建立索引并记录，此方法查全率高但查准率低，特别是对于中文，有时搜索马克，会列出马克思的结果。基于词的全文索引是把一个词语作为一个单位进行索引记录并能处理同义词。搜索引擎有自己的词库，当用户搜索时，搜索引擎会从词库中抽取关键词作为索引项，这样可以大大提高检索的准确率。

　　中文分词技术

　　一直以来大家都比较熟悉百度，百度有自己的中文分词技术。一般采用的包括正向大匹配，反向大匹配，好匹配法，专家系统方法等。其中大正向匹配是最常用的分词解决方案，它采用机械式算法，通过建立词典并进行正向大匹配对中文进行分词。举个简单的例子比如搜索“北京大学在哪里”则返回结果很多都是包含北京大学，北大等词语的网页，搜索引擎就是采用正向大匹配去判断，把北京大学当做一个词语来索引记录并返回。当然，正向大匹配也有不完整性，比如长度过长的词语，搜索引擎有时无法准确的分词或者对前后都相互关联的词无法准确分词。例如“结合成分子时”会被返回结合、成分、子时而有时我们想要的关键词是“分子”。

　　很多时候百度都会根据自己词库中词语的权重进行拆分，权重的计算基于生活各个方面，比较复杂，搜索引擎要做的就是返回用户最想要的结果，有时站长们做网站要站在用户的角度去考虑问题，其实这也是站在搜索引擎的角度考虑问题，不论在确定目标关键词或者是长尾关键词时，都可以根据中文分词的原理来选择，这样可以大化的减少无用功。

　　分词原理不断在变化，不断在更新，我们应该继续学习，只有掌握了本质才能抓住实质。

标题名称：搜索引擎分词算法
文章起源：/news47/165897.html

成都网站建设公司_创新互联，为您提供外贸网站建设、网页设计公司、网站导航、虚拟主机、外贸建站、Google

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联