Kappa statistic 这个指标用于评判分类器的分类结果与随机分类的差异度。（Kappa is a measure of agreement normalized for chance agreement.）
P(A) - P(E)
> K = -----------
> 1 - P(E)
> Where P(A) is the percentage agreement (e.g., between your classifier and
> ground truth) and P(E) is the chance agreement. K=1 indicates perfect
> agreement, K=0 indicates chance agreement.
P(A)是分类器赞同（agreement）的比率，P(E)是随机分类赞同（agreement）的比率。
K=1的时候表明分类器的决策时完全与随机分类相异的(正面)，K=0时表明分类器的决策与随机分类相同（即分类器没有效果）
K=-1时表明分类器的决策比随机分类还要差。
一般来说，Kappa指标的结果是与分类器的AUC指标以及正确率成正相关的，所以K越接近于1越好
更多参见：