学步园

零星感悟：最大熵

知之为知之，不知为不知

论文：The Improved Iterative Scaling Algorithm: A Gentle Introduction

核心思想：构造经验期望减去模型期望的差，然后让这个差等于零，此时的权重参数即为最优解的参数

下面是看李航的<<统计学习方法>>最大熵一章和论文推导时的一个疑惑，幸得别人指点明白了。

在最大熵模型中，条件概率分布式这样的：

其中

用Improved Iterative Scaling 算法求解最优的参数时，定义条件概率的对数似然函数为：

将上面的公式带入得：

以上都是论文The Improved Iterative Scaling Algorithm: A Gentle Introduction中的推导过程，

但是我不理解的地方是公式

是怎么得来的，其中的是怎么得到的，

我的推导中应该是的，如果说前者可以等于后者，

那为什么公式还保留了前面的，这是数学上的技巧么？

这个疑惑一直困扰了我一上午，直到别人告诉我说，

公式后一项中的之所以能够合并为，而前一项没有合并的原因在于：

首先，和是相等的

更重要的是仅仅是x的函数，而不是y的函数，

因为它对所有的y已经进行了求和，所以前面的才能够合并成

而中的是y的函数，

所以不能将其合并成

说到这里，豁然开朗，数学差真是硬伤啊~~~~~