|
来源：e800.com.cn |
搜索引擎技术和分类搜索引擎的技术基础是全文检索技术，从20世纪60年代，国外对全文检索技术就开始有研究。全文检索通常指文本全文检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索，一般用于企事业单位。随着互联网信息的发展，搜索引擎在全文检索技术上逐渐发展起来，并得到广泛的应用，但搜索引擎还是不同于全文检索。搜索引擎和常规意义上的全文检索主要区别有以下几点： 1、数据量传统全文检索系统面向的是企业本身的数据或者和企业相关的数据，一般索引库规模多在GB级，数据量大的也只有几百万条；但互联网网页搜索需要处理几十亿的网页，搜索引擎的策略都是采用服务器群集和分布式计算技术。 2、内容相关性信息太多，查准和排序就特别重要，Google等搜索引擎采用网页链接分析技术，根据互联网上网页被链接次数作为重要性评判的依据；但全文检索的数据源中相互链接的程度并不高，不能作为判别重要性的依据，只能基于内容的相关性排序。 3、安全性互联网搜索引擎的数据来源都是互联网上公开的信息，而且除了文本正文以外，其它信息都不太重要；但企业全文检索的数据源都是企业内部的信息，有等级、权限等限制，对查询方式也有更严格的要求，因此其数据一般会安全和集中地存放在数据仓库中以保证数据安全和管理的要求。 4、个性化和智能化搜索引擎面向的是互联网访问者，由于其数据量和客户数量的限制，自然语言处理技术、知识检索、知识挖掘等计算密集的智能计算技术很难应用，这也是目前搜索引擎技术努力的方向；而全文检索数据量小，检索需求明确，客户量少，在智能化和个性可走得更远。 搜索引擎与全文检索除了以上的区别外，还结合互联网信息的特点形成了三个不同的类型： 全文检索搜索引擎： 全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google ( http://www.google.com ) 、yahoo( http://search.yahoo.com ) 、AllTheWeb ( http://www.alltheweb.com ) 等，国内著名的有百度（ http://www.Baidu.com ）、中搜（ http://www.zhongsou.com ）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，也是目前常规意义上的搜索引擎。 目录搜索引擎： 目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词查询，仅靠分类目录也可找到需要的信息。国外比较著名的目录索引搜索引擎有yahoo（ http://www.yahoo.com ）Open Directory Project（DMOZ）（ http://www.dmoz.com/ ）、LookSmart（ http://www.looksmart.com ）等。国内的搜狐（ http://www.sohu.com ）、新浪（ http://www.sina.com ）、网易（ http://www.163.com ）搜索也都具有这一类功能。 元搜索引擎： 元搜索引擎在接受用户查询请求时，同时在其它多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有Dogpile（ http://www.dogpile.com ）、Vivisimo（ http://www.vivisimo.com ）等，国内元搜索引擎中具代表性的有搜星搜索引擎（ http://www.soseen.com/ ），优客搜索（ http://www.yok.com ）。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。 其他的像新浪( http://search.sina.com.cn )、网易( http://search.163.com )、A9（ http://www.A9.com ）等搜索引擎都是调用其它全文检索搜索引擎，或者在其搜索结果的基础上做了二次开发。 |