学步园

词库加载模块的源码：

Java开源分词系统IKAnalyzer学习（四） 词库加载源代码——Dictionary类

Java开源分词系统IKAnalyzer学习（五） 词库加载源代码——DictSegmenty类

Java开源分词系统IKAnalyzer学习（六） 词库加载源代码——Hit类

首先这个词典管理类Dictionary类采用的设计模式是单立模式，实现的代码：

/*<br /> * 词典单子实例<br /> */<br /> private static final Dictionary singleton;</p> <p> /*<br /> * 词典初始化<br /> */<br /> static{<br /> singleton = new Dictionary();<br /> }<br /> private Dictionary(){<br /> //初始化系统词典<br /> loadMainDict();<br /> loadSurnameDict();<br /> loadQuantifierDict();<br /> loadSuffixDict();<br /> loadPrepDict();<br /> loadStopWordDict();<br /> }<br /> /**<br /> * 词典初始化<br /> * 由于IK Analyzer的词典采用Dictionary类的静态方法进行词典初始化<br /> * 只有当Dictionary类被实际调用时，才会开始载入词典，<br /> * 这将延长首次分词操作的时间<br /> * 该方法提供了一个在应用加载阶段就初始化字典的手段<br /> * 用来缩短首次分词时的时延<br /> * @return Dictionary<br /> */<br /> public static Dictionary getInstance(){<br /> return Dictionary.singleton;<br /> } 

词库加载的关键代码，这里以主词典为例，其他大同小异

/**<br /> * 加载主词典及扩展词典<br /> */<br /> private void loadMainDict(){<br /> //建立一个主词典实例<br /> _MainDict = new DictSegment((char)0);<br /> //读取主词典文件<br /> InputStream is = Dictionary.class.getResourceAsStream(Dictionary.PATH_DIC_MAIN);<br /> if(is == null){<br /> throw new RuntimeException("Main Dictionary not found!!!");<br /> }</p> <p> try {</p> <p> BufferedReader br = new BufferedReader(new InputStreamReader(is , "UTF-8"), 512);<br /> String theWord = null;<br /> do {<br /> theWord = br.readLine();<br /> //假如还没有读到文件尾<br /> if (theWord != null && !"".equals(theWord.trim())) {<br /> _MainDict.fillSegment(theWord.trim().toCharArray());<br /> }<br /> } while (theWord != null);</p> <p> } catch (IOException ioe) {<br /> System.err.println("Main Dictionary loading exception.");<br /> ioe.printStackTrace();</p> <p> }finally{<br /> try {<br /> if(is != null){<br /> is.close();<br /> is = null;<br /> }<br /> } catch (IOException e) {<br /> e.printStackTrace();<br /> }<br /> }<br /> } 

底层的字典存储代码

/**<br /> * 加载填充词典片段<br /> * @param charArray<br /> */<br /> public void fillSegment(char[] charArray){<br /> this.fillSegment(charArray, 0 , charArray.length);<br /> }</p> <p> /**<br /> * 加载填充词典片段<br /> * @param charArray<br /> * @param begin<br /> * @param length<br /> */<br /> public synchronized void fillSegment(char[] charArray , int begin , int length){<br /> //获取字典表中的汉字对象<br /> Character beginChar = new Character(charArray[begin]);<br /> Character keyChar = charMap.get(beginChar);<br /> //字典中没有该字，则将其添加入字典<br /> if(keyChar == null){<br /> charMap.put(beginChar, beginChar);<br /> keyChar = beginChar;<br /> }</p> <p> //搜索当前节点的存储，查询对应keyChar的keyChar，如果没有则创建（这段代码没看明白）<br /> DictSegment ds = lookforSegment(keyChar);<br /> //处理keyChar对应的segment<br /> if(length > 1){<br /> //词元还没有完全加入词典树<br /> ds.fillSegment(charArray, begin + 1, length - 1);<br /> }else if (length == 1){<br /> //已经是词元的最后一个char,设置当前节点状态为1，表明一个完整的词<br /> ds.nodeState = 1;<br /> }<br /> }</p> <p> /**<br /> * 查找本节点下对应的keyChar的segment<br /> * 如果没有找到，则创建新的segment<br /> * @param keyChar<br /> * @return<br /> */<br /> private DictSegment lookforSegment(Character keyChar){</p> <p> DictSegment ds = null;<br /> if(this.storeSize <= ARRAY_LENGTH_LIMIT){<br /> //获取数组容器，如果数组未创建则创建数组<br /> DictSegment[] segmentArray = getChildrenArray();<br /> //搜寻数组<br /> for(DictSegment segment : segmentArray){<br /> if(segment != null && segment.nodeChar.equals(keyChar)){<br /> //在数组中找到与keyChar对应的segment<br /> ds = segment;<br /> break;<br /> }<br /> }<br /> //遍历数组后没有找到对应的segment<br /> if(ds == null){<br /> //构造新的segment<br /> ds = new DictSegment(keyChar);<br /> if(this.storeSize < ARRAY_LENGTH_LIMIT){<br /> //数组容量未满，使用数组存储<br /> segmentArray[this.storeSize] = ds;<br /> //segment数目+1<br /> this.storeSize++;<br /> }else{<br /> //数组容量已满，切换Map存储<br /> //获取Map容器，如果Map未创建,则创建Map<br /> Map<Character , DictSegment> segmentMap = getChildrenMap();<br /> //将数组中的segment迁移到Map中<br /> migrate(segmentArray , segmentMap);<br /> //存储新的segment<br /> segmentMap.put(keyChar, ds);<br /> //segment数目+1 ， 必须在释放数组前执行storeSize++ ， 确保极端情况下，不会取到空的数组<br /> this.storeSize++;<br /> //释放当前的数组引用<br /> this.childrenArray = null;<br /> }<br /> } </p> <p> }else{<br /> //获取Map容器，如果Map未创建,则创建Map<br /> Map<Character , DictSegment> segmentMap = getChildrenMap();<br /> //搜索Map<br /> ds = (DictSegment)segmentMap.get(keyChar);<br /> if(ds == null){<br /> //构造新的segment<br /> ds = new DictSegment(keyChar);<br /> segmentMap.put(keyChar , ds);<br /> //当前节点存储segment数目+1<br /> this.storeSize ++;<br /> }<br /> }<br /> return ds;<br /> }