学步园

前言： OSChina 的搜索做得并不好，很久之前一直想在细节方面进行改造，一直也没什么好的思路。但作为整体的结构或许对大家还是有一些参考的价值，之前也分享过一些代码，这次主要是把整个模块的设计思路详细的介绍一下，本文要求了解 Lucene 的基本使用。

OSChina 使用的是全文搜索的技术，涉及到的开源软件包括 Lucene 和国产的 IKAnalyzer。谈到分词，有些人喜欢问，你怎么不用xxx呢？很不好意思，鄙人只用过和熟悉 IKAnalyzer ，所以选型的时候肯定考虑的是它。另外 IKAnalyzer 的作者就在 OSC 上，有什么问题也方便直接请教，请看之前OSC
对 IKAnalyzer 的作者林良益的访谈。

以下内容来自百度百科：

全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。

全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统。一般来说，全文检索需要具备建立索引和提供查询的基本功能，此外现代的全文检索系统还需要具有方便的用户接口、面向WWW的开发接口、二次应用开发接口等等。功能上，全文检索系统核心具有建立索引、处理查询返回结果集、增加索引、优化索引结构等等功能，外围则由各种不同应用具有的功能组成。

结构上，全文检索系统核心具有索引引擎、查询引擎、文本分析引擎、对外接口等等，加上各种外围应用系统等等共同构成了全文检索系统。

全文搜素技术的特点是：速度超快，但不及时，主要体现在刚发布的文章并不能马上搜到（这句话并不绝对，请勿纠结）。

一般全文搜索引擎都有自己独立的索引库，这个索引库跟数据库是完全隔离的，没有任何关系。Lucene 使用的是文件系统来存储索引库。当我们发布一篇文章时，这篇文章是存在于数据库中，需要通过 Lucene 提供的 API 将文章进行索引(Indexing)，然后写到索引库中才能检索得到。

由于Web应用是一个多用户并发的系统，简单的说，同一个时间点可能有不止一个人在发帖，而 Lucene 的索引库支持并发读，但如果同时多人写入或者更新就会导致索引库被锁住（索引库目录下有名为 lock 文件），因此必须避免在发帖的时候同时更新索引库，一般的做法由一个独立的进程来负责索引的添加、删除和修改操作，这也就是我前面说的 “不及时” 的原因。

总结一下，如果要用 Lucene 来做全文搜索，必须注意的问题是：避免有多个线程、进程同时操作索引库，包括添加、修改和删除。

下图是一个 OSChina 全文搜索的基本结构：

由于 OSC 需要做全文搜索的内容有好几种，包括：软件、新闻、问答、代码、博客，目前这几种类型的文章都是使用独立的索引库存储（这也是我想改造的一个不足之一），为了统一索引过程，我定义了一个接口 —— SearchEnabled