一、引言：在需要监控的环境里，如何能够判断出进入特定区域的目标，并且能够跟踪目标的轨迹。分为两种情况：一是静态背景下的目标跟踪；二是动态背景下的目标跟踪。
二、静态背景下的目标跟踪方法
1、单目标：目标跟踪还可以分为单目标的跟踪和多目标的跟踪。单目标的静态背景下的目标跟踪指的是摄像头是固定在某一方位，其所观察的视野也是静止的。通常采用背景差分法，即先对背景进行建模，然后从视频流中读取图像（我们称之为前景图像），将前景图像与背景图像做差，就可以得到进入视野的目标物体。对于目标的描述，通常用目标连通区域的像素数目的多少来表达目标的大小，或者用目标区域的高宽比等。目标的位置信息可采用投影的方式来定位。
2、多目标：静态环境下的多目标跟踪，需要确定每个目标的特征，位置，运动方向，速度等信息。
3、预处理：由于获得的图像总会有着噪声，需要对图像做一些预处理，如高斯平滑，均值滤波，或者进行一些灰度拉伸等图像增强的操作。
三、动态背景下的目标跟踪
摄像头在云台控制下的旋转，会使得他所采集的图像时可在变化，所以，对于整个目标跟踪过程来说，背景是变化，目标也是在整个过程中运动的，所以跟踪起来较有难度。
目前课题组提出的方案是：跟踪过程：在摄像头不同偏角情况下取得若干背景图片，建立背景图片库――>摄像头保持固定时，取得当前帧图片，与图片库中的背景图像匹配，背景差分(灰度差分？)，获得目标――>目标特征提取――>实时获得当前帧图片，采用跟踪算法动态跟踪目标。
提取特征是一个难点，课题组提出多颜色空间分析的方法。根据彩色图像在不同的颜色空间里表征同一物体呈现出的同态性，可以把目标物体在不同的颜色空间里进行分解，并将这些关键特征信息进行融合，从而找出判别目标的本质特征。
跟踪过程中采用的各种方法说明：
1）在0－360度不同偏角时，获得背景图片，可进行混合高斯背景建模，建立图片库，以俯仰角和偏转角不同标志每张背景图片，以备匹配使用；
2）背景差分获得目标后，对差分图像需要进行平滑、去噪等处理，去除干扰因素；
3）对目标采用多颜色空间（HSV、YUV）特征提取，对不同颜色空间的特征相与（AND），得到目标特征，以更好的在当前帧图片中找到目标；
4）实时得到的当前帧图片，进行混合高斯建模，排除树叶摇动等引起的背景变化；
5）跟踪算法可采用多子块匹配方法、camshift方法等。
四、相关理论介绍
近几年来，一种名为CamShift的跟踪算法凭借其在实时性和鲁棒性方面良好的表现，正受到越来越多的关注。现阶段CamShift算法已经广泛应用到感知用户界面中的人脸跟踪中，以及一些半自动的运动目标跟踪。一方面，CamShift算法应该属于基于区域的方法，它利用区域内的颜色信息对目标进行跟踪；另一方面，CamShift算法却是一种非参数技巧,它是通过聚类的方式搜寻运动目标的。
简单的说，CamShift算法利用目标的颜色特征在视频图像中找到运动目标所在的位置和大小，在下一帧视频图像中，用运动目标当前的位置和大小初始化搜索窗口，重复这个过程就可以实现对目标的连续跟踪。在每次搜寻前将搜索窗口的初始值设置为运动目标当前的位置和大小，由于搜索窗口就在运动目标可能出现的区域附近进行搜寻，这样就可以节省大量的搜寻时间，使CamShift算法具有了良好的实时性。同时，CamShift算法是通过颜色匹配找到运动目标，在目标运动的过程中，颜色信息变化不大，所以CamShift算法具有良好的鲁棒性。由于RGB颜色空间对光照亮度变化比较敏感，为了减少光照亮度变化对跟踪效果的影响，CamShift算法将图像由RGB
颜色空间转化到HSV 颜色空间进行后续处理。
CamShift 的算法流程如图3.4所示。首先选择初始搜索窗口，使窗口恰好包含整个跟踪目标，然后对窗口中每个像素的H上的值采样，从而得到目标的色彩直方图，将该直方图保存下来作为目标的色彩直方图模型。在跟踪过程中，对视频图像处理区域中的每一个像素，通过查询目标的色彩直方图模型，可以得到该像素为目标像素的概率，图像处理区域之外的其他区域作为概率为0的区域。经上述处理，视频图像转换为目标色彩概率分布图，也称为目标颜色投影图。为便于显示，将投影图转化为8位的灰度投影图，概率为1的像素值设为255，概率为0的像素值为0，其他像素也转换为相应的灰度值。所以，灰度投影图中越亮的像素表明该像素为目标像素的可能性越大。
图中虚线标示的部分是CamShift算法的核心部分，主要目标是在视频图像中找到运动目标所在的位置,这一部分被称为MeanShift算法。由于MeanShift是CamShift的核心，所以正确理解MeanShift就成了理解CamShift算法的关键，下面就重点讨论MeanShift算法。
2、混合高斯模型
背景中当树叶在摇动时，它会反复地覆盖某像素点然后又离开，此像素点的值会发生剧烈变化，为有效地提取感兴趣的运动目标，应该把摇动的树叶也看作背景。这时任何一个单峰分布都无法描述该像素点的背景，因为使用单峰分布就表示己经假定像素点的背景在除了少量噪声以外是静止的，单模态模型无法描述复杂的背景。在现有效果较好的背景模型中有些为像素点建立了多峰分布模型(如混合高斯模型)，有些对期望的背景图像进行预测，这些算法的成功之处在于定义了合适的像素级稳态(Stationarity)准则，满足此准则的像素值就认为是背景，在运动目标检测时予以忽略。对于特定的应用场景，要想对特定算法的弱点与优势进行评价，必须明确这种像素级稳态准则。
对于混乱的复杂背景，不能使用单高斯模型估计背景，考虑到背景像素值的分布是多峰的，可以根据单模态的思想方法，用多个单模态的集合来描述复杂场景中像素点值的变化，混合高斯模型正是用多个单高斯函数来描述多模态的场景背景。
混合高斯模型的基本思想是:对每一个像素点，定义K个状态来表示其所
呈现的颜色，K值一般取3-5之间(取决于计算机内存及对算法的速度要求)，
K值越大，处理波动能力越强，相应所需的处理时间也就越长。K个状态中每
个状态用一个高斯函数表示，这些状态一部分表示背景的像素值其余部分则
表示运动前景的像素值。
http://hi.baidu.com/new8sun/blog/item/6e1cfe5d45e3d04afaf2c078
计算机视觉目标检测跟踪 标准测试视频下载
| |
andrew31在ilovematlab论坛中分享的网址链接：
1.PETS2001的测试视频
http://www.filewatcher.com/b/ftp/ftp.cs.rdg.ac.uk/pub/PETS2001.0.0.html
可以得到5个DATASET，有训练和测试视频：
2. 阴影检测（ShadowDetection）测试视频及CVPR-ATON 阴影检测相关论文
http://cvrr.ucsd.edu/aton/shadow/
3.IBM人类视觉研究中心监视系统性能评价提供的视频
http://www.research.ibm.com/peoplevision/performanceevaluation.html
原文：http://blog.163.com/jw_67/blog/static/136199256201039104624436
在视频中获取移动目标，这涉及到图像分割，背景消除和阴影去除，主要思想，是去除背景，获取前景。这里一般把近似不动的物体默认为背景，而运动的物体为前景。除了采用分类器训练以外，还有一些很常见的算法。这里我参考一些论文和朋友总结把这些算法归类，如果要相应论文的，可以联系我，希望对有用到的朋友一点帮助。
一，通过模板的图像分割：
1.
2.
3.
二，背景消除：
1．
a 帧差法(framedifferencing)
b 均值-阈值方法(mean-thresholdmethod)
c 混合高斯模型(Gaussian mixturemodel)
d 非参数模型(non-parametric)
2．
a LBP纹理(LBP-texture)
b 共生矩阵(co-occurrencematrices)
c 协方差矩阵(covariancematrices)
d 直方图方法(accumulatedhistogram)
3．
向量分解法(eigenspacedecomposition)
西安电子科技大学张瑞娟的一篇硕士论文“图像配准理论及算法研究”，我收获很大，所以我也总结一些对我有用的算法，将来便于查找应用。
我做的目标追踪这一块，虽然和图像配准不是一个方向，但是前期工作都是一样的，首先都需要物体检测，特征检测和匹配。这里我总结一些对我有用的，也希望对和我一样研究方向的人有帮助。这里图像配准可以换成物体匹配的。
1，
2，
2.1基于灰度信息的方法，
交叉相关（互相关）方法，相关系数度量，序贯相似检测算法，信息理论的交换信息相似性准则
2.2基于变换域的方法
相位相关法，Walsh Transform变换
2.3基于特征的方法
常用的图像特征有：特征点（包括角点、高曲率点等）、直线段、边缘（Robert、高斯-拉普拉斯LoG、Canny、Gabor滤波等边缘检测算子）或轮廓、闭合区域、特征结构以及统计特征如矩不变量等
注：像素灰度信息的互相关算法相比，特征提取包含了高层信号信息，所以该类算法对光照、噪声等的抗干扰能力强。
3，常用的空间变换模型
刚体变换（平移、旋转与缩放的组合）、仿射变换、透射变换、投影变换、非线性变换
4，
4.1距离测度
均方根误差，差绝对值和误差，兰氏距离，Mahalanobis距离，绝对差，Hausdorff距离等
4.2角度度量法（概率测度）。
4.3 相关度量法
5，配准算法的评价标准
配准时间、配准率、算法复杂度、算法的可移植性、算法的适用性、图像数据对算法的影响等（这里虽然不是目标追踪的评价标准，但是我们可以借鉴这些评价算法的标准）
机器视觉与计算机视觉概念是一样吗？
初识机器视觉和计算机视觉这两个名词，感觉是差不多的，都是视觉，而且计算机也是机器，研究计算机视觉不就是研究机器视觉吗？也许很多人都跟我同感，但通过涉入这一领域，在通过系统的学习之后，我发觉它们两者既有许多相同点，但若把两者等同起来，就会束缚你的视野，它们属于不同的学科。我们研究计算机视觉的目的就是根据人类的视觉特性来给计算机带来“光明”，让它更好的来替代人来工作或者完成人类不能完成的工作，更好的为企业减少劳动力，也更大的提高生产效率，同时也不断在提高人们的生活质量。研究机器视觉是更好为工业中的制造业提供更多有利于提高产品质量和提高生产效率的支持。
机器视觉中把计算机作为载体或者说是工具，主要是利用计算机高效率的cpu，因为视觉里看到的都是图像，而对图像的处理往往比较耗时，所以能更快的完成图像处理，为以后的控制赢得时间，计算机是“当仁不让”了，而随着大规模集成电路的发展，fpga、dsp等这些具有处理能力的芯片也在不断的提高性能，以后的机器视觉会不会把它们作为载体而产生fpga视觉或dsp视觉呢？
什么是机器视觉？[/b][/b]
机器视觉，即采用机器代替人眼来做测量和判断。
机器视觉系统是指通过机器视觉产品（即图像摄取装置，分cmos和ccd两种）把图像抓取到，然后将该图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，来进行尺寸、形状、颜色等的判别。进而根据判别的结果来控制现场的设备动作。
机器视觉伴随计算机技术、现场总线技术的发展，技术日臻成熟，已是现代加工制造业不可或缺的产品，广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电子制造、包装、汽车制造等行业。
机器视觉是个相对较新的技术，它为制造工业在提高产品质量、提高生产效率和操作安全性上提供了许多技术。机器视觉越来越受欢迎有这样一个主要原因：光学传感具有与生俱来的清洁、安全性和通用性。用视觉有可能去做其他人不知道用传感方法可以做到的事情，比如识别污点、铁锈或者表面腐蚀等等。
在其他相关技术中，机器视觉包括图像数字化、图像操作和图像分析，通常使用计算机来完成，它是一门覆盖图像处理和计算机视觉的专业。然而，我们强调机器视觉、计算机视觉和图像处理不是同义的。它们其中之一都不是任何其他两个的子集。计算机视觉是计算机科学的一个分支，而机器视觉是系统工程一个特殊领域。机器视觉没有说明要使用计算机，但是在获取高速处理速度上经常会使用特殊的图像处理硬件，这个速度是普通计算机所不能达到的。
尽管早在20世纪30年代用于工业监测的视频系统就已被使用，但工业机器视觉系统首次引起关注是在20世纪70年代中期。在整个20世纪80年代早期，机器视觉发展的很缓慢，主要就是学术研究，很少引起工业兴趣。到了20世纪80年代中期，机器视觉有了一个很大推动力，这个就是主要美国汽车制造商对视觉系统产生了较大兴趣。然后，在美国经历了一段严重的幻觉时期，许多视觉公司纷纷倒闭。而到了80年代末期和90年代早期，由于处理速度的大大提升，机器视觉系统引起了广泛关注。在90年代中期，随着现代risc处理器提供了在标准计算平台的高处理速度，于是具有通用目的的处理器的角色被修改。在这个时期，学术工作者一直在大范围的产品中稳步地提高灵活性，这个取代了制造工业的主要分支的所有研究。
什么是计算机视觉？[/b][/b]
“计算机视觉”是指用计算机实现人的视觉功能，对客观世界的三维场景的感知、识别和理解。这里主要有两类方法：一类是仿生学的方法，参照人类视觉系统的结构原理，建立相应的处理模块完成类似的功能和工作；另一类是工程的方法，从分析人类视觉过程的功能着手，并不去刻意模拟人类视觉系统内部结构，而仅考虑系统的输入和输出，并采用任何现有的可行的手段实现系统功能。
计算机视觉是一个处于指示前沿的领域。我们认为计算机视觉，或简称位“视觉”，是一项事业，它与研究人类或动物的视觉是不同的。它借助于几何、物理和学习技术来构筑模型，从而用统计的方法来处理数据。因此从我们的角度看，在透彻理解摄像机性能与物理成像过程的基础上，视觉对每个像素进行简单的推理，将在多幅图像中可能得到的信息综合成和谐的整体，确定像素集之间的联系以便将它们彼此分割开，或推断一些形状信息，使用几何信息或概率统计技术来识别物体。
计算机视觉成为一门独立的学科，至少可以从美国麻省理工学院marr教授这一代人所做的奠基工作开始，因此计算机视觉这门学科至少已有20～30年的历史。在此期间，由于计算机视觉具有的潜在应用十分广泛，所涉及的学科知识极其繁多，研究的问题又极富挑战性，因此它一直是计算机学科中的一门热门学科，并吸收了许多从事心理学、神经科学、生理学、生物物理学、数学与计算机学科等各种学科研究人员的关注，从而把图像处理、模式识别、人工智能、数学、认知科学、机器学习、计算机图形学等各方面的研究成果融会进来。
计算机视觉是人工智能的一个子领域，它的目的是让计算机理解图像中的一个场景或者特征，它包括以下几个方面的解释：
1. 为了控制目标而获取所需数据通过图像的自动获取和分析。
2. 给一个有能力去做事和反应的机器人提供导航系统使之能改变位置。
3.用视频摄像机、机器人或者其他设备的一个系统，并且用计算机去做可视化的分析操作或行为。典型应用包括自动监测、光学字符识别和其他的非接触应用。
4.机器视觉是计算机视觉在工厂自动化的一个应用。正如监视员在一个装配线上工作，可视地监视物件并判断其质量，因此机器视觉系统使用照相机和图像处理软件来完成类似的监视。一个机器视觉系统是一个在基于数字图像分析上作决定的计算机。
通过上面的定义，其实机器视觉和计算机视觉并没有很清晰的界限，而是紧密的联系在一起，它们有着相同的理论，只是在应用中根据具体实际应用目标的不同而不同。计算机视觉与机器视觉都是要从图像或图像序列中获取对世界的描述，因此，对基本层的图像获取、图像处理，中层的图像分割、图像分析和高层的图像理解这些理论知识的掌握对两者来说都是“万变不离其宗”。