基于人体特征的运动检测与跟踪

近年来，人体运动视觉分析成为计算机视觉领域备受关注的前沿方向。人体运动视觉分析是从包含人体的图像序列中检测、识别、跟踪人体以及获取运动参数，进一步对人的行为解释和描述。它属于图像分析和理解的范畴，其研究内容涉及计算机视觉、模式识别、图像处理、人工智能和人体运动学等方面，是一个跨多学科的研究课题。

运动人体检测和跟踪是人体运动视觉分析的一个重要组成部分，有着广泛的前景和经济价值。它在视频监控、虚拟会议、人机交互、临床诊断、教育训练、虚拟现实等方面的应用都引起了广大科研人员和相关商家的浓厚兴趣，例如在银行、商场、军事基地等对安防要求较高的场合，实时的视觉监控将有重要意义；在智能控制方面，可以通过对人脸识别和表情分析以及手势识别等更好的实现人机交互。另一方面，运动人体检测与跟踪算法的实现可以节它是从图像序列中提取并描述人体轮廓的运动，然后进行跟踪，更高级的处理是对人的行为进行识别和理解。

人体运动目标检测是在输入图像中确定运动人体的过程，是整个人体运动分析系统的第一部分，运动目标检测的目的是将运动人体部分从图像中提取出来，能否正确地分离运动人体是整个系统成败的关键。运动目标检测由运动物体分割和运动物体分类两部分组成。

运动物体的分割

运动物体的分割就是把图像中的运动部分，比如汽车、行人等分离出来，因为只有运动的部分才是能够跟踪的部分。运动部分的分割常常受到光线变化、影子和遮挡等因素的影响。因此选用一种稳定可靠的分割方法是很重要的。常用的分割方法有以下几种。

（1）背景减法。在运动检测中，背景减法（Background Subtraction）是一种常用的技术，尤其是对于静态场景。它首先建立背景模型作为参考图像，通过将含有运动物体的图像与事先通过背景模型得到的背景图像相减得到运动部分。

（2）统计方法。统计学方法是基于像素的统计特性从背景中提取运动信息。它首先计算背景像素的统计信息(颜色、灰度、边界等)，使用个体的像素或一组像素的特征来建立一个较为高级的背景模型，而且背景的统计值可以动态地更新。通过对比当前背景模型的统计值，图像中每一个像素被分成前景或是背景。由于统计学方法在噪声，影子光线改变等于扰条件下具有较好的鲁棒性，已经成为研究热点。

（3）帧间差分法。帧间差分法（Temporal Differencing）是在图像序列中通过相邻两帧或者三帧图像像素差，提取运动区域的运动目标检测方法。帧间差分对光线等变化不太敏感，对动态环境具有很强的自适应性，检测有效稳定。该方法的不足之处是一般不能提取所有相关的特征像素点，在运动实体内部可能会产生空洞现象。特别是当目标移动缓慢时，相邻两帧之间的差异很小，很难提取出整个运动区域，即使提取的区域也难以完整精确地描述运动目标。

（4）光流法。光流是图像中各像素点运动的速度分布，它是一种瞬时速度场，即向量场， 每一个向量表示了景物中一个点在图像中位置的瞬时变化。光流法

（Optical Flow）是利用运动目标在序列图像中的位置随时间变化的光流特性，用来描述相邻帧之间某像素点的运动，通过计算运动物体在帧间的运动向量来检测运动区域。在比较理想的情况下，光流法在摄像机运动的条件下能检测到独立的运动目标，不需要预先知道场景的任何信息，可以很精确地计算出运动物体的速度。但计算方法复杂，对硬件要求比较高，可靠性差，对噪声敏感，难于应用在实时的视频流处理中。

运动物体分类

由运动分割得到的不同运动部分可能属于不同种类的运动物体，比如人体视频监控系统得到的运动部分就可能包括飞行的鸟、飘动的云和晃动的树等，要从中提取人体就要进行运动物体分类，把人从运动物体中识别出来。只有正确地识别出人体才能进行下一步的运动跟踪工作，以及后续的人体行为理解，所以运动物体的分类是非常必要的。一般可用形态学方法进行处理，考虑运动目标的分散度、面积、轮廓、高宽比等有关形态方面的参数，来区分人以外的运动目标，通过这些方法甚至可以去除部分噪声的影响。目前分类有两种：

(1)基于人体特征分类。人不管外形特征还是皮肤颜色都是明显的，所以人的分类可以采取多种方法。基于形状的分类是利用检测出来的运动区域的形状特征信息来进行物体分类的。通过检测模块得到一个二值化的前景图像，对这个前景图像进行横向和纵向的投影可以得到横向和纵向的长度比，通常称之为“宽高比”。通过多个人的样本训练可以得到一般人体的“宽高比"，这个“宽高比"作为人体特有的特征，可以用于确定检测出的运动目标是否为人体。这个人体特有的特征也可以是人体的“面积"，它指的是在通过检测模块得到二值化的图像中人体所占像素的多少，通过面积的比较，可以除去一般情况下面积较大的运动的汽车、动物、以及摆动的树叶。另外的一些属于人体特有的特征还可以是人的皮肤颜色，因此可以通过识别人脸裸露的皮肤来确定是否有人的存在，这通常需要在色彩空间如RGB空间、HIS空间或YUV空间来进行检测与识别。

（2）基于运动的分类。人体运动是非刚体运动，并呈现一定的周期性，这种周期性可以作为区分运动人体的重要依据。一种方案对于这种周期性的运动进行时频分析，利用人体运动周期性出现的自相似性来实现分类；还有方案将此方法与光流法结合，根据残留的大小来实现分类。

运动目标跟踪

运动目标跟踪也是计算机视觉领域的重要内容，它利用运动目标分割的结果，又为运动的分析理解等高级内容提供基础。跟踪的目的是在帧与帧之间建立人体运动目标的某些特征，若位置、速度、形状、纹理和颜色等之间的联系。目前常用的跟踪方案有以下4种.

(1)基于模型的跟踪。基于模型的人运动跟踪方法首先预定义一个模型，然后再将实际运动与该模型匹配。模型通常由关节和线条骨架组成，用轴来表示状态空间中的关节自由度，用状态空间来描述姿态。其原理是先预测下一图像的姿态再将这一预测模型分析、合成、抽象然后与真实图像数据比较，直到找到最匹配的模型，并且更新系统模型。人体的几何模型有简单到复杂可以建立为棍状模型，二维边界模型和三维立体模型，建立模型之后就可以通过将运动物体与模型对比从而实现跟踪。由棍状模型到二维边界模型，再到三维立体模型，所实现的跟踪精度越来越高，但计算量也在增大。

（2）基于区域的跟踪。区域跟踪思想是把每个运动物体与某个运动区域联系起来，然后对该区域进行跟踪。区域跟踪实现较为简单，在许多系统中有广泛应用，但在两种情况下有很大困难，一是人体存在较长影子，二是人体有重叠交错现象。

（3）基于动态边界跟踪。动态边界模型又叫snake，能够表示不断变化的运动人体的边界。该方案计算量小，但是要求独立准确的初始化边界，实际中很难实现。

（4）基于特征的跟踪。 它包括特征提取和特征匹配两个基本过程。该方法通过跟踪目标的特征点、特征线来实现对人的跟踪，通常还需要结合纹理、色彩及形状 特征来提高跟踪的鲁棒性。尽管对目标跟踪的算法可以粗略地分为上述几类，但是这些方法并不是孤立没有联系的。在进行目标跟踪时，为了保证跟踪的可靠性和准确性，往往几种算法混合才能得到更好的跟踪效果。这种方法在被跟踪目标出现遮挡交错等现象时仍能实现较为准确的跟踪。