现在的位置: 首页 > 综合 > 正文

【转】基于统计的词网格分词

2019年06月04日 ⁄ 综合 ⁄ 共 373字 ⁄ 字号 评论关闭

 

 

     词网格分词方法是基于统计的方法,它具有比较高的分词正确率,而且可以比较容易的进行扩展。可以通过加入相应的统计信息来扩展不同的功能。

     基于词网格分词的第一步是候选词网格构造:利用词典匹配,列举输入句子所有可能的切分词语,并以词网格形式保存。实际上,词网格是一个有向无环图(Directly Acyclic Graph, DAG),它蕴含了输入句子所有可能的切分,其中的每一条路径代表一种切分。图3-1表示的是字串“中国人民生活”的切分词网格,它包含了16种不同的切分情况。第二步计算词网格中的每一条路径的权值,权值通过计算图中每一个节点

(每一个词)的一元统计概率和节点之间的二元统计概率的相关信息。然后根据图搜索算法在图中找到一条权值最小的路径,对应的路径即为最后的分词结果。

出自《计算机自然语言处理》一书

 

导航页:本博客中中文分词索引页

 

抱歉!评论已关闭.