最大熵马尔科夫模型(MEMM)
定义:
MEMM是这样的一个概率模型,即在给定的观察状态和前一状态的条件下,出现当前状态的概率。
MEMM依赖图
Ø S表示状态的有限集合
Ø O表示观察序列集合
Ø Pr(s|s’,o):观察和状态转移概率矩阵
Ø 初始状态分布:Pr0(s)
HMM vs. MEMM
任务 |
HMM |
MEMM |
评估 |
计算 P(OT|M) |
|
解码/预测 |
找到ST 使得P(OT| ST , M)的值最大 |
找到ST使得P(ST|OT, M)的值最大 |
学习 |
给定 O, 找到M 使得 P(O| M) 的值最大 (由于S未知,需要用EM算法) |
给定O和S, 找到M 使得 P(S| O, M) 的值最大 (可以通过最大似然估计算法) |
注:O表示观察集合,S表示状态集合,M表示模型
最大熵马尔科夫模型(MEMM)的缺点:
看下图,由观察状态O和隐藏状态S找到最有可能的S序列:
路径:s1-s1-s1-s1的概率:0.4*0.45*0.5=0.09
路径s2-s2-s2-s2的概率:0.2*0.3*0.3=0.018
路径s1-s2-s1-s2的概率:0.6*0.2*0.5=0.06
路径s1-s1-s2-s2的概率:0.4*0.55*0.3=0.066
由此可得最优路径为s1-s1-s1-s1
实际上,在上图中,状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。
由上面的两幅图可知,最大熵隐马尔科夫模型(MEMM)只能达到局部最优解,而不能达到全局最优解,因此MEMM虽然解决了HMM输出独立性假设的问题,但却存在标注偏置问题。