经典统计学: 基于总体信息和样本信息进行的统计推断,它的基本观点是把数据(样本)看成是来自具有一定概率分布的总体, 所研究的对象是这个总体,而不限于数据本身。
贝叶斯统计学: 基于总体信息,样本信息和先验信息进行的统计推断,, 它与经典统计学的主要差别在于是否利用先验信息。
贝叶斯学派的基本观点: 任意一个未知量 都可以看做一个随机变量, 应该用一个概率分布去描述对 的位置状况,这个概率分布被称为先验分布。
贝叶斯公式: 设总体指标有依赖于参数的密度函数, 在经典统计学中常记为或,它表示在参数空间中不同的对应不同的分布。
可在贝叶斯统计中记为, 它表示在随机变量给定某个值时,
总体指标的条件分布。
样本:
似然函数:
后验分布:
二项分布:
此后验分布正是贝塔分布:
并且先验分布
的先验分布和后验分布属于同一个分布族, 这种先验分布称为 的共轭先验分布