统计参数的最大似然估计

现在的位置: 首页 > 编程语言 > 正文

上篇下篇

2019年09月02日 ⁄ 编程语言 ⁄ 共 365字 ⁄ 字号小中大 ⁄ 评论关闭

已经介绍了统计参数的举估计，下面介绍另外一种估计，并且比较这两者。

对于一组样本，它们无条件是独立的。那么考虑到联合分布函数与边缘分布函数的关系，利用乘法原理，我们发现，样本的联合分布函数是：

$L(x_1,x_2,...,x_n) = \prod_{i = 1}^nP\{X_i = x_i\}$ （离散）

$L(x_1,x_2,...,x_n) = \prod_{i = 1}^nf_X_i(x_i)$ （连续）

又发现，它们是与总体同分布的： $f_X_1 = f_X_2 = ... = f_X_n = f$ ，那么连续的情况还可以写作：

$L(x_1,x_2,...,x_n) = \prod_{i = 1}^nf(x_i)$

现如今上面的式子中存在未知的参数， $\theta_1,\ \theta_2,\ ...,\ \theta_k$ 。把 L 换做以众多未知参数为元，就得到了：

$L(\theta_1,\ \theta_2,\ ...,\ \theta_k)$

称作是样本的似然函数。

当使得似然函数最大时的样本的参数估计，叫做样本的最大似然估计。

至于如何求之，仅仅是简单的多元函数求值而已。

发现 L 是众多乘积的形式，并且是正则的。那么就可以普遍利用一种方法：对 L 取自然对数，然后求各个偏导数，令之为 0，解得参数估计。

举例

Ex1：总体 $X \sim \pi(\lambda)$ ，利用样本
$X_1,\ X_2,\ ...,\ X_n$ ，对 $\lambda$ 进行最大似然估计。

$L(\lambda) = \frac{\lambda^{\sum_{i = 1}^n x_i}}{\prod_{i = 1}^n x_i!} e^{-n\lambda}$

$M(\lambda) = ln(L(\lambda)) = \sum_{i = 1}^n x_i ln(\lambda) - n\lambda - ln(\prod_{i = 1}^n x_i!)$

$\frac{dM}{d\lambda} = \frac{\sum_{i = 1}^n x_i}{\lambda} - n$

令之为 0，得到参数 $\lambda$ 的最大似然估计：

$\hat{\lambda} = \bar{x}$

抱歉!评论已关闭.

学步园