分词相关
a) Tokenization
i. 目标（Goal）：将文本切分成单词序列（divide text into a sequence of words）
ii. 单词指的是一串连续的字母数字并且其两端有空格；可能包含连字符和撇号但是没有其它标点符号
b) 什么是词（What’s a word）?
i. English:
1. “Wash. vs wash”
2. “won’t”, “John’s”
3. “pro-Arab”, “the idea of a child-as-required-yuppie-possession must be motivating them”, “85-year-old grandmother”
ii. 东亚语言
1. 词之间没有空格
c) 分词
i. 基于规则的方法 : 基于词典和语法知识的形态分析
ii. 基于语料库的方法: 从语料中学习
iii. 需要考虑的问题: 覆盖面，歧义，准确性
d) 统计切分方法的动机
i. 未登录词问题:
——存在领域术语和专有名词
ii. 语法约束可能不充分
——例子（Example）: 名词短语的交替切分
iii. 举例一
1. Segmentation：sha-choh/ken/gyoh-mu/bu-choh
2. Translation：“president/and/business/general/manager”
iv. 举例二
1. Segmentation：sha-choh/ken-gyoh/mu/bu-choh
2. Translation：“president/subsidiary business/Tsutomi[a name]/general manag
e) 一个切分算法：
i. 核心思想（Key idea）: 对于每一个候选边界，比较这个边界邻接的n元序列的频率和跨过这个边界的n元序列的频率。
f) 实验框架（Experimental Framework）
i. 语料库（Corpus）: 150兆1993年Nikkei新闻语料
ii. 人工切分: 用于开发集的50条序列（调节参数）和用于测试集的50条序列
iii. 基线算法（Baseline algorithms）: Chasen和Juma的形态分析器
g) 评测方法（Evaluation Measures）
i. tp — true positive （真正, TP）被模型预测为正的正样本；
ii. fp — false positive （假正, FP）被模型预测为正的负样本；
iii. tn — true negative （真负 , TN）被模型预测为负的负样本 ；
iv. fn — false negative （假负 , FN）被模型预测为负的正样本；
v. 准确率（Precision） — the measure of the proportion of selected items that the system got right：
P = tp / ( tp + fp)
vi. 召回率（Recall） — the measure of the target items that the system selected:
R = tp / ( tp + fn )
vii. F值（F-measure）:
F = 2 ∗ PR / (R + P)
viii. Word precision (P) is the percentage of proposed brackets that match word-level brackets in the annotation;
ix. Word recall (R) is the percentage of word-level brackets that are proposed by the algorithm.
完整原文:请参考http://www.52nlp.cn/mit-nlp-second-lesson-word-counting-third-part