现在的位置: 首页 > 综合 > 正文

文档的相似性和分类

2014年01月11日 ⁄ 综合 ⁄ 共 459字 ⁄ 字号 评论关闭

如何求文档相似性?

  1. 将文档生成k-shingle集合,或由k-shingle集合映射成更少量的桶编号;
  2. 为了能在内存中装载k-shingle集合,将该集合生成长度为n的最小hash签名,即选择n个hash函数,分别将集合进行行变换,取每次变换后所得的最小hash共同构成一个签名矩阵;
  3. 由于签名矩阵对应的文档数目比较大,再次采用hash来比较文档的相似性。基于LSH的技术,将签名矩阵行条化,分成b个行条,每个行条有r行,则任意行条内hash值相同的列为候选的相似文档。可以计算出文档相似的概率为1-(1-s^r)^b,s为任意一行签名相等的概率,其近似阀值为(1/b)^(1/r)。s也同时为文档的jaccard相似度,若需要较少的伪正例,应选择合适的b,使得s较大,反之,若需要较少的伪反例,应选择合适的b,使得s较小;

如何对文档分类?

对一个文档,去掉其中的一些停用词后,求出TF.IDF比较高的词。IDF为文档的总数与该词所出现文档数比值的对数,其反映了一个词刻画的文档的专业度。专业度越高,与专业相关的文档数目越少。

【上篇】
【下篇】

抱歉!评论已关闭.