学步园

        我们平时看到的文件，其本质上是有词组成的，我们可以看做是词的集合，当我们把相同的词就可以看做是一个词的向量了。

       这里的tvx tvd tvf 就是以这种形式表示doc的：

        tvx : doc的数量，以及每个doc 在 tvd 以及 tvf 中开始的位置。

        tvd : 每个doc的域信息： 有多少个域，具体是那几个域，每个域向量在tvf文件中的位置，

        tvf  : 每个doc 的每域的 向量集合 ，向量集合中的每个元素就是一个 term:  term文本，次数，位置等信息

这三者之间的关系，我们还是引用告诉的总结：

http://blog.csdn.net/forfuture1978/archive/2009/12/10/4976793.aspx

我们最后来看看源代码

public final void addAllDocVectors(TermFreqVector[] vectors)<br /> throws IOException {<br /> //该doc 信息在tvd, tvf 中的位置<br /> tvx.writeLong(tvd.getFilePointer());<br /> tvx.writeLong(tvf.getFilePointer());</p> <p> if (vectors != null) {<br /> final int numFields = vectors.length;<br /> //字段的个数<br /> tvd.writeVInt(numFields);<br /> //因为tvd 中所有字段的 fieldnum 放一起，所有字段在tvf开始位置也放一起，所有遍历的时候，先保留在这里，最后一起写入文件<br /> long[] fieldPointers = new long[numFields];<br /> //处理每个字段<br /> for (int i=0; i<numFields; i++) {<br /> fieldPointers[i] = tvf.getFilePointer();</p> <p> final int fieldNumber = fieldInfos.fieldNumber(vectors[i].getField());<br /> // 写字段的序号<br /> // 1st pass: write field numbers to tvd<br /> tvd.writeVInt(fieldNumber);</p> <p> //一个字段有多少个term<br /> final int numTerms = vectors[i].size();<br /> tvf.writeVInt(numTerms);</p> <p> final TermPositionVector tpVector;</p> <p> final byte bits;<br /> final boolean storePositions;<br /> final boolean storeOffsets;<br /> //字段的一些bit位<br /> if (vectors[i] instanceof TermPositionVector) {<br /> // May have positions & offsets<br /> tpVector = (TermPositionVector) vectors[i];<br /> storePositions = tpVector.size() > 0 && tpVector.getTermPositions(0) != null;<br /> storeOffsets = tpVector.size() > 0 && tpVector.getOffsets(0) != null;<br /> bits = (byte) ((storePositions ? TermVectorsReader.STORE_POSITIONS_WITH_TERMVECTOR : 0) +<br /> (storeOffsets ? TermVectorsReader.STORE_OFFSET_WITH_TERMVECTOR : 0));<br /> } else {<br /> tpVector = null;<br /> bits = 0;<br /> storePositions = false;<br /> storeOffsets = false;<br /> }</p> <p> tvf.writeVInt(bits);</p> <p> final String[] terms = vectors[i].getTerms();<br /> final int[] freqs = vectors[i].getTermFrequencies();</p> <p> int utf8Upto = 0;<br /> utf8Results[1].length = 0;<br /> //一个字段的所有term<br /> for (int j=0; j<numTerms; j++) {</p> <p> UnicodeUtil.UTF16toUTF8(terms[j], 0, terms[j].length(), utf8Results[utf8Upto]);<br /> //采用前缀压缩<br /> int start = StringHelper.bytesDifference(utf8Results[1-utf8Upto].result,<br /> utf8Results[1-utf8Upto].length,<br /> utf8Results[utf8Upto].result,<br /> utf8Results[utf8Upto].length);<br /> int length = utf8Results[utf8Upto].length - start;<br /> tvf.writeVInt(start); // write shared prefix length<br /> tvf.writeVInt(length); // write delta length<br /> tvf.writeBytes(utf8Results[utf8Upto].result, start, length); // write delta bytes<br /> utf8Upto = 1-utf8Upto;</p> <p> final int termFreq = freqs[j];</p> <p> tvf.writeVInt(termFreq);</p> <p> if (storePositions) {<br /> final int[] positions = tpVector.getTermPositions(j);<br /> if (positions == null)<br /> throw new IllegalStateException("Trying to write positions that are null!");<br /> assert positions.length == termFreq;</p> <p> // use delta encoding for positions<br /> int lastPosition = 0;<br /> for(int k=0;k<positions.length;k++) {<br /> final int position = positions[k];<br /> tvf.writeVInt(position-lastPosition);<br /> lastPosition = position;<br /> }<br /> }</p> <p> if (storeOffsets) {<br /> final TermVectorOffsetInfo[] offsets = tpVector.getOffsets(j);<br /> if (offsets == null)<br /> throw new IllegalStateException("Trying to write offsets that are null!");<br /> assert offsets.length == termFreq;</p> <p> // use delta encoding for offsets<br /> int lastEndOffset = 0;<br /> for(int k=0;k<offsets.length;k++) {<br /> final int startOffset = offsets[k].getStartOffset();<br /> final int endOffset = offsets[k].getEndOffset();<br /> tvf.writeVInt(startOffset-lastEndOffset);<br /> tvf.writeVInt(endOffset-startOffset);<br /> lastEndOffset = endOffset;<br /> }<br /> }<br /> }<br /> }<br /> //写每个字段在tvf 中的位置，第一个已经在tvx文件中有了，所以这里不用写<br /> // 2nd pass: write field pointers to tvd<br /> if (numFields > 1) {<br /> long lastFieldPointer = fieldPointers[0];<br /> for (int i=1; i<numFields; i++) {<br /> final long fieldPointer = fieldPointers[i];<br /> tvd.writeVLong(fieldPointer-lastFieldPointer);<br /> lastFieldPointer = fieldPointer;<br /> }<br /> }<br /> } else<br /> tvd.writeVInt(0);<br /> }<br />

1  首先在tvx 文件中写入  tvd 和tvf  开始的位置

2   在tvd中写入当前doc的字段的个数，然后遍历所有的字段，在tvd 中，写入每个字段的term 数目，已经每个term 具体信息在tvf中的位置， 最后写tvf信息，遍历每隔term ，写入每个term 信息。