视频运动人物提取跟踪

摘要：基于视频的人体运动跟踪是一种使用普通摄像机跟踪无标记人体运动的技术。它在自动监控、人机交互、体育运动分析等许多领域有重要的应用价值。在该方面的研究是近年计算机视觉领域的一个热点研究方向。由于问题的复杂性和缺乏对人类视觉本质的理解，基于视频的跟踪始终是计算机视觉中的难题。本文设计实现了一种基于MeanShift的全自动人体跟踪算法，该算法简单方便，实验结果表明，该算法对人体跟踪效果良好，具有很好的实用价值。 关键字：视频 人体运动 跟踪? MeanShift 人体跟踪 第1章 引言 随着廉价数字摄像机和高性能家用PC机的普及，基于视频的人体运动捕捉逐渐成为研究的热点。基于视频跟踪技术是计算机视觉的一个重要研究领域。由于人体运动的重要性，很早就有人对基于视频的人体运动跟踪技术进行研究。经过二十余年的发展，基于视频的跟踪技术融合了图像处理，计算机视觉，计算机图形学，人工智能，人体运动学以及机器学习等多学科的理论，成为多学科交叉的一个热门领域。目前许多国际会议如ICCV、CVPR、SIGGRAPH都设有相关的专题。从整体上看，该领域的研究目前正处于发展初期，无论是从实时性、准确性还是从跟踪的鲁棒性来看，目前的一些基于视频的捕捉系统都无法和商业上的基于标记的捕捉系统相比。在监视应用方面，由于其不需要动作细节，基于视频的方法可以基本满足需要。在运动捕捉和运动分析方面，基于视频的方法仍然处于实验室阶段，但从其发展趋势来看，随着计算机速度的提高和新的相关理论的引入，基于视频的运动捕捉将会逐渐走向成熟。 1.1研究背景及意义 语言、文字、图像是人类传递信息的三种主要渠道，其中，图像包含的信息 量最大，人类所得到的外界信息70%以上是来自眼睛摄取的图像。计算机的出现， 使得人们试图通过数字设备获取环境图像，从而利用计算机代替大脑实现对视觉 信息处理的全过程。但是计算机对外部世界的感知能力远不能与人类视觉相比， 这成为开拓计算机运用的瓶颈，与其强大的运算能力形成了强烈的反差。为了使 计算机系统能模拟人类通过视觉接收外界信息，具有识别和理解周围环境的感知 能力，用计算机来代替或协助人类感知模式，就诞生了计算机视觉这门学科。 计算机视觉是在20世纪50年代从统计模式识别开始的，当时的工作主要集 中在二维图像的分析和识别上，如光学字符识别，工件表面，显微图片和航空图 片的分析和解释等。1965年，Roberts通过计算机程序从数字图像中提取出诸如 立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系 进行描述，即将现实世界分解为由积木所构造的世界。在之后类似的研究中， 日uffman、CloweS以及waltz等人对积木世界进行了研究并分别解决了由线段解释景物和处理阴影等问题。此后的研究范围从边缘、角点等特征提取到线条、平面、曲面等几何要素分析，到图像明暗、纹理、运动以及成像几何等，并建立了各种数据结构和推理规则。70年代，一些视觉应用系统出现。70年代中期，麻省理上学院(MIT)人工智能(A工)实验室开设“计算机视觉”(MaChineVISion)课程，由国际著名学者B.K.P.Hom教授讲授。同时，M工TAI实验室吸收了国际上许多知名学者参与计算机视觉的理论、算法和系统设计的研究，DavidMarr教师就是其中的一位。他于1973年应邀在MITAI实验室领导一个以博士生为主体的研究小组，1977年提出了不同于“积木世界”分析方法的计算机视觉理论，该理论在80年代成为计算机视觉研究领域中的一个十分重要的理论框架。 计算机视觉是一门多学科交叉的学科，涉及图像处理、计算机图形学、模式识别、人工智能、人工神经网络、计算机、心理学、生理学、物理学和数学等。 运动目标检测和跟踪技术是计算机视觉研究领域中的一个重要分支，经过几十年的深入研究和发展，在军事制导、视觉导航、安全监控、智能交通、医疗诊断以 及气象分析等方面有着广泛的应用和发展前景。运动目标跟踪技术作为计算机视觉领域的核心研究课题之一，主要目的是模仿生理视觉系统的运动感知功能，通过对摄像头获得的图像序列进行分析，计算出运动目标在每一帧图像上的二维坐标位置，并根据不同的特征值，将图像序列中连续帧间的同一运动目标关联起来，得到每帧图像中目标的运动参数以及相邻帧图像间运动目标的对应关系，得到运动目标完整的运动轨迹，和连续视频序列中运动目标的对应关系，也就是在下一帧图像中找到目标的确切位置，并反馈给跟踪系统进行跟踪，为视频序列分析和理解提供依据和基础。由于运动目标的位置变化或目标变形、光照变化、背景干扰、摄像机的抖动、运动目标的阴影以及运动目标的遮挡等现象使视频序列中的图像发生变化，这对于运动目标跟踪的方法来说是一个极具挑战的研究课题，目前运动目标检测和跟 跟踪算法的主要问题和难点有: ①各个目标之间的相互遮挡，造成目标信息的不完整，给目标识别带来困 难。 ②不同视角和关照变化带来目标形状变化使得实时识别和跟踪非常困难， 如何选择和提取具有不变性的特征具有挑战性。 ③在复杂背景下，如何对目标进行精确图像分割，如何提高算法鲁棒性和 实时性具有实际意义。 ④由于图像序列有丰富的原始数据，相邻帧之间有很强的相关性，如何利 用好时间域上的相关性，提高运动目标检测、识别和跟踪效率具有实际 意义。 1.2研究现状 运动目标的人物跟踪经过国内外学者多年来的研究，己经取得了一定的成绩。国内方面，浙江大学人工智能研究所采用单目视觉对人体没有出现遮挡部分的动作进行了跟踪，首帧采用手工标注人体的特征点，该方法基于单目视觉，无法准确估计被遮挡部位的位置，手工干预较多:中国科学院自动化所模式识别国家重点实验室图像和视频分析研究组开发了人体运动的视觉分析系统、交通行为事件分析系统、交通场景监控系统和智能轮椅视觉导航系统;中国科学院计算所人机通信技术联合实验室作了体育视频中的目标分割和跟踪、精彩片段分析的研究;清华大学作了野外自然环境中的视觉侦查系统，该系统具有运动检测、跟踪和全景图生成等功能;西安交通大学的人工智能与机器人研究所使用光流和帧差两种算法对自适应巡航控制中的车辆跟踪进行研究;微软亚洲研究院对基于墒计算的动态目标检测算法进行了研究。此外，上海交通大学航天信息与控制自动化研究所、华中科技大学图像识别与人工智能研究所图像信息处理智能控制重点实验室、西安科技大学电子工程学院模式识别与智能控制研究所等研究机构均在序列图像中运动目标的跟踪算法分析方面做了一定的研究。 当前的研究状况表明，由于现在的跟踪方法都是面向特定应用环境的，所以不存在一个算法能适应所有的情况，都具有一定的使用范围。目前的运动目标跟踪方法比较有代表性的有以下几种: 1.基于模型的跟踪 对于人体的运动跟踪，表述方法如下三种: ①线图法(StickFig。:e):该方法尤其适用于对人的表示，人运动的实质是 骨骼的运动，因此该表达方法将身体的各个部分以直线来近似。Karaulova建 立了人体运动学的分层模型，用于单目标视频序列中人体的跟踪。 ②二维轮廓(2一DCont。。r):该方法人体表达方法的使用直接与人体在图像 中的投影有关，Niyogi与Adels。n利用时空切片方法进行人的跟踪[l2l，首先观察由人的下肢轨迹所产生的时空交织模式，然后在时空域中定位头的运动投影，接下来识别其它关节的轨迹，最后利用这些关节轨迹勾画出一个行人的轮廓，等人提出的纸板人模型将人的肢体用一组连接的平面区域块表达，该区域块的参数化运动受关节运动(Art1CulatedMovement)的约束，该模型被.用于关节运动图像的分析。 ③立体模型(VolumetriCModel):它是利用广义锥台、椭圆柱、球等三维模 型来描述人体的结构细节，因此要求更多的计算参数，匹配过程中计算量较大。 Rohr使用14个椭圆柱体模型来表达人体结构[l’]，坐标系统的原点被定位.在躯干的中心，目的是想利用该模型来产生人的行走的三维描述;Wachter与阮gel利用椭圆锥台建立三维人体模型，通过在连续的图像帧间匹配三维人体模型的投影来获得人运动的定量描述，实现了单目图像序列中人的跟踪。 2.基于活动轮廓的跟踪(AetiveeontourBasedTraeking) 基于活动轮廓的跟踪思想是利用封闭的曲线轮廓来表达运动目标，并且该轮 廓能够自动连续地更新。KasS等人提出了一种基于能量函数的活动轮廓跟踪算 法，该算法基于图像整体能量最小化目标分割，较好地解决了对特定目标精确 分割问题。但KasS等人提出的Snake模型依赖于图像中的细微变化，存在初始 化轮廓和对图像噪声敏感的问题，不能解决快速运动的目标跟踪。Parag105与 DeriChe利用短程线的活动轮廓、结合LevelSet理论在图像序列中检测和跟踪 多个运动目标;Peterfreund采用基于卡尔曼滤波的活动轮廓来跟踪非刚性的运动物体1181;工Sard与Blak。利用随机微分方程去描述复杂的运动模型119]，并与可变形模板相结合应用于人的跟踪。相对于基于区域的跟踪方法，轮廓表达有减少计算复杂度的优点，如果开始能够合理地分开每个运动目标并实现轮廓初始化的话，即使在有部分遮挡存在的情况下也能连续地进行跟踪，但是初始化通常是很困难的。 3.基于区域的跟踪(Region一basedTraeking) 基于区域的跟踪方法目前已有较多的应用，Wren等人利用小区域特征进行 室内单人的跟踪Iz0]，文中将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成，利用高斯分布建立人体和场景的模型，人体的像素被规划于不同的身体部分，通过跟踪各个小区域块来完成整个人的跟踪。基于区域跟踪的难点是处理运动目标的影子和遮挡，可以利用彩色信息以及阴影区域缺乏纹理的性质来解决;McKenna等人首先利用色彩和梯度信息建立自适应的背景模型lzl}，并且利用背景减除方法提取运动区域，有效地消除了影子的影响。然后，跟踪过程在区域、人、人群三个抽象级别上执行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的，同时人群又是由单个的人组成的，因此利用区域跟踪算法并结合人的表面颜色模型，在遮挡情况下也能够较好地完成多人的跟踪;G.Bradski.等人根据MeanShift算法，将其应用在连续图像序列的目标跟踪中，并称其为eam:h1ft(eontin。ouSlyAdaptiveMeanshift)算法。Camshift跟踪算法是一种基于目标颜色特征的跟踪方法，该方法由于其无 参数，运算速度快，在简单的背景环境中Camshift算法能够取得较好的跟踪效 果，但在复杂的背景中，由于该算法对物体不做任何预测，当有大面积背景颜色 与目标颜色接近时将无法跟踪到目标。 4.基于特征的跟踪(Feature-basedTraeking) 基于特征的跟踪包括特征的提取和特征的匹配两个过程。Polana与Nelson 的算法就是一个点特征跟踪的例子，文中将每个运动目标(行人)用一个矩形框封 闭起来，封闭框的质心被选择作为跟踪的特征哪};在跟踪过程中若两人出现相 互遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行;该方法的优 点是实现简单，并能利用人体运动来解决遮挡问题，但是该算法仅仅考虑了平移 运动。另外，Segen与尸ingali的跟踪系统使用了运动轮廓的角点作为对应特征，这些特征点采用基于位置和点的曲率值的距离度量在连续帧间进行匹配。以卡尔曼滤波形式的点、线特征的跟踪技术在计算机视觉领域中已被很好地开发， Jang与Choi利用区域的形状、纹理、色彩和边缘特征信息建立了活动模板，结 合卡尔曼滤波的预测方法，使特征匹配能量函数最小化来完成运动目标的跟踪过 程，该活动模型对于非刚性物体的跟踪具有很好的自适应性。以上几种方法均有其代表性，有其优缺点。同时，在该领域还有很多其他的新颖算法。 1.3本文的研究内容及章节安排 本文章节安排如下：第一章? 介绍课题的研究背景意义和研究现状第二章? 介绍软件的开发平台和工具第三章? 主要是人脸检测方法第四章? 具体阐述软件的设计及实现第五章? 软件测试