背景建模也称为背景估计，其主要目的是根据当前的背景估计，把对序列图像的运动目标检测问题转化为一个二分类问题，将所有像素划分为背景和运动前景两类，进而对分类结果进行后处理，得到最终检测结果。比较简单的获取背景图像的方法是当场景中无任何运动目标出现时捕获背景图像，但这种方法不能实现自适应，通常仅适应于对场景的短时间监控，不能满足智能监控系统对背景建模的要求。
背景减除法的关键是背景模型，它是背景减除法分割运动前景的基础。背景模型主要有单模态和多模态两种，前者在每个背景像素上的颜色分布比较集中，可以用单分布概率模型来描述，后者的分布则比较分散，需要多分布概率模型来共同描述。在许多应用场景，如水面的波纹、摇摆的树枝、飘扬的旗帜、监视器屏幕等，像素值都呈现出多模态特性。最常用的描述场景背景像素颜色分布的概率密度函数是高斯分布。
