学步园

逻辑回归是有监督分类算法。

设带有标签的数据集

，

其中

。

我们定义条件概率函数：

，，

即：

其中：

，。

根据已知数据集我们定义极大似然函数：

。

，

对于最大化上式（属于无约束最优化），可以采用牛顿法或者梯度上升法，求最大值。

因为

，

所以

，

用牛顿法，对于处理分布式有些困难，我们用梯度上升法

即：

，

显然这一步可以通过MapReduce的原理。