plsa 公式推导

现在的位置: 首页 > 综合 > 正文

2013年05月26日 ⁄ 综合 ⁄ 共 333字 ⁄ 字号小中大 ⁄ 评论关闭

plsa中完全数据（complete data）的似然函数：

$L_{c} =p(D,Z,W|\theta) = \coprod_{i=1}^{N}\coprod_{j=1}^{M} (\coprod_{k=1}^{K} (p(z_{k}|d_{i}) p(w_{j}|z_{k}))^{t_{k}})^{n(d_{i},w_{j})}$

其中， $t_{k}$ 表示文档i中的第j个单词的主题是否为k，如果为k则 $t_{k}$ 为1，否则为0

相应地，对数似然函数如下

$\pounds_{c} = \log L_{c} \\= log \hspace{1mm} p(D,Z,W|\theta)\\= \sum_{i=1}^{N}\sum_{j=1}^{M} n(d_{i},w_{j}) \log (\coprod_{k=1}^{K} (p(z_{k}|d_{i}) p(w_{j}|z_{k}))^{t_{k}})\\= \sum_{i=1}^{N}\sum_{j=1}^{M} n(d_{i},w_{j})\sum_{k=1}^{K} \log \hspace{1mm}t_{k} p(z_{k}|d_{i}) p(w_{j}|z_{k})$

然后Q function就是

$Q = E(\pounds_{c}|D,W,\theta^{(i)})\\ =\sum_{i=1}^{N}\sum_{j=1}^{M} n(d_{i},w_{j})\sum_{k=1}^{K} p(z_{k}|d_{i},w_{j})\log \hspace{1mm} p(z_{k}|d_{i}) p(w_{j}|z_{k})$

又有两个约束条件：

$\sum_{k=1}^{K}p(z_{k}|d_{i}) = 1 \hspace{1mm}i =1, 2...N \\\sum_{j=1}^{M}p(w_{j}|z_{k}) = 1\hspace{1mm}k=1,2,...K$

下面利用拉格朗日乘法求参数

拉格朗日函数：

$H=\sum_{i=1}^{N}\sum_{j=1}^{M} n(d_{i},w_{j})\sum_{k=1}^{K} p(z_{k}|d_{i},w_{j})\log \hspace{1mm} p(z_{k}|d_{i}) p(w_{j}|z_{k}) + \sum_{i=1}^{N}\rho_{i}(1-\sum_{k=1}^{K}p(z_{k}|d_{i})) + \sum_{k=1}^{K}\tau_{k}(1-\sum_{j=1}^{M}p(w_{j}|z_{k}))$

然后分别对参数 $p(w_{j}|z_{k}),p(z_{k}|d_{i}),\tau_{k},\rho_{i}$ 求导：

$\sum_{i=1}^{N}n(d_{i},w_{j})p(z_{k}|d_{i},w_{j})-\tau_{k}p(w_{j}|z_{k}) = 0 j\subset{[1,M]} , k\subset{[1,K]} \hspace{1mm} (1)\\\sum_{j=1}^{M}n(d_{i},w_{j})p(z_{k}|d_{i},w_{j})-\rho_{i}p(z_{k}|d_{i}) = 0 i\subset{[1,N]} , k\subset{[1,K]}\hspace{1mm} (2)$

求解过程：以（1）为例，将（1）变换成如下形式：

$\sum_{j=1}^{M}\sum_{i=1}^{N}n(d_{i},w_{j})p(z_{k}|d_{i},w_{j})-\tau_{k}\sum_{j=1}^{M}p(w_{j}|z_{k}) = 0$

这样 $\tau_{k}$ 的系数就变成了1，那么我们就求得了

$\tau_{k}=\sum_{m=1}^{M}\sum_{i=1}^{N}n(d_{i},w_{m})p(z_{k}|d_{i},w_{m})$ ，

然后再将结果代入（1），得到

$p(w_{j}|z_{k}) = \frac {\sum_{i=1}^{N}n(d_{i},w_{j})p(z_{k}|d_{i},w_{j})}{\sum_{m=1}^{M}\sum_{i=1}^{N}n(d_{i},w_{m})p(z_{k}|d_{i},w_{m})}$

类似地，可以求得 $\rho_{i},p(z_{k}|d_{i})$ 。

$\rho_{i}= \sum_{k=1}^{K}\sum_{j=1}^{M}n(d_{i},w_{j})p(z_{k}|d_{i},w_{j})\\=\sum_{j=1}^{M}n(d_{i},w_{j}) \sum_{k=1}^{K}p(z_{k}|d_{i},w_{j}) \\=n(d_{i})\\$