在复杂场景中多目标物的检测识别方法

<script language="JavaScript" type="text/javascript"> function doZoom(size){ document.getElementById('zoom').style.fontSize=size+'px' } </script>

在复杂场景中多目标物的检测识别方法

2006-6-27 13:37:44  【文章字体：大 中 小】 打印  收藏  关闭

图像跟踪系统中，图像目标的实时检测识别是至关重要的。在许多应用场合，场景区域比较复杂，如在智能监控系统、计算机视觉以及增强现实领域的应用中，经常需要识别、跟踪多个目标物体，并且要满足一定的实时性。采用三维传感器（电磁传感器或超声传感器）实现对目标物体识别和跟踪由于受到距离和电磁干扰的影响，常常识别和跟踪效果不是很理想。利用计算机视觉原理来对目标物体进行检测、识别，是近年来兴起的一种技术。例如Bajura利用发光二极管作为标识物来识别AR 系统目标物体。Uenohara，M. and Kanade，T利用计算机视觉技术把真实图像叠加在视频图像上以对目标物体注册。 本文提出了一种利用计算机视觉原理来对复杂场景中多目标物体的实时检测和识别方法。采用矩阵码标识图形区别场景中不同的物体，通过对进行预处理后的图像中可能的标识物区域提取轮廓、拐角点，进而归一化处理（透视变换）；最后对归一化标识物模板匹配来实时识别多目标物体。实验结果表明，本方法采用的通过求距离提取角点的算法和改进的模板匹配方法，对发生旋转、比例变化和变形后的多目标标识物可以进行实时、稳定的识别。 一、二维矩阵码的设计 为达到检测和识别同一幅图像中多个目标物体的目的，标识物矩阵码的形状需要满足两个条件：a．标识目标物体的所有矩阵码能够区别于背景干扰物体； b．同一场景中的多个目标物体标识物之间能够相互区别。根据上述两个特点，采用如图1 所示二维矩阵标识图形。标识的黑色矩形背景区别场景和标识图形，而通过改变黑色背景中白色像素区域的形状来检测和识别不同的目标物体。不同的标识图形粘贴在同一场景中的不同物体上，利用计算机图像处理、分析，提取多个标识图形，进行场景图像中的多个目标物体的快速识别。 图1  二维矩阵码 二、提取候选区域 在给定一幅含有一个或多个目标物体的原始图像的条件下，目标物体的检测识别过程由三个主要阶段组成：图像分割——特征提取——目标识别；针对本课题的研究对象的特点，目标物体的检测识别流程如图2 所示： 图2  目标检测识别流程图 （一）图像分割          图3  单目标原始图像                     图4  多目标原始图像 图像分割的目的是从原始图像中提取出进行分析的目标区域。可以根据图像的特点按幅度、边缘、形状等条件完成目标区域分割，在常用的幅度分割算法中，确定分割阈值是关键的问题，阈值选取的适当与否直接影响分割的效果。 选取阈值的算法有很多种，有全局阈值、自适应阈值和动态阈值等。对图像阈值分割时，不同的处理对象应该灵活的选取分割算法。本研究原始图像（图3，图4）是在自然场景中拍摄的，考虑到场景光线条件的变化以及算法的适应性，本文采用阈值可随场景光照条件改变而改变的动态阈值算法。分割得到如图5，图6 所示二值化图像。其中各黑色图像区域视为待分析子图像。           图5  二值化图像                        图6  二值化图像 （二）目标提取 从图5、图6 可以看出，二值化后的待分析子图像中除了目标图像（标识物图像）外，还包括一些背景图像，因此需要对图像中各黑色子图像进行分析，以进一步过滤非标识图像。 通过连通成分搜索（connected component searching），可以将各子图像区分开来。目前常用的搜寻方法有链码标记算法、Suzuki et al.提出的序列局部搜索检测法、区域填充扫描线算法等。本文在分析经典算法的基础上，对区域填充扫描线算法进行了改进，该算法修改了原算法中的堆栈结构，堆栈深度也远远小于种子填充算法，从而避免堆栈溢出，提高了处理图像的稳定性；同时消除了经典算法中象素点颜色判读的重复操作，大大提高了填充的速度。 图像的几何特征可以用于滤除非目标图像（残余背景图像）。因此，在进行连通成分搜索的同时，进行每一连通图像的面积、形状特征参数的计算。本课题中，所应用的几何特征包括图像区域宽度（AW）、区域高度（AH）、形状参数（SP）、密度参数（DP）、区域像素数（Count），前四项的计算公式如式（1）-（4）所示： AW = maxX – minX；                      （1） AH= maxY – minY；                        （2） SP = AW / AH；                                 （3） DP= Count/（AW*AH）；                 （4） 式中minX， minY， maxX， maxY 为各子区域极值点，各个区域的像素数目Count 通过连通搜索过程中进行累加获得。为了过滤掉面积极小和极大的干扰区域，连通区域像素数Count 设置在一定的范围内。由于残留的非目标区域多呈不规则的形状（见图5，图6），利 用这些几何特征可以有效地滤除残留的非目标区域。滤除后的结果如图7，图8 所示。 图7  提取候选区域                           图8  提取候选区域 三、目标区域的归一化 经过上述处理后的图像，余留的绝大多数子图像已经是待识别对象（统称为候选目标区域），可以用模板匹配的方式进行识别，但由于摄像机拍摄位置原因，会造成所采集的标识图像有旋转、尺度缩放、变形等变化。标识物的畸变情况因CCD 成像面和目标图像所成的角度、距离有关，因此有必要针对这种畸变，对所得到的标识物图像进行校正和几何归一化处理。可以首先利用轮廓检测器提取各标识物轮廓并记录轮廓上所有点坐标值，然后求解标识物图像区域的4 个角点，最后通过透视变换实现图像校正，使得标识物图像大小和位置归一化。 （一）拐角点提取 拐角点是图像的一种重要局部特征，在图像匹配、目标检测与识别等领域，拐角点提取具有十分重要的意义。关于拐角点提取的算法很多，如利用二值边缘图检测和定位拐角点；Kitchen 利用一个局部二次方程曲面逼近实现对拐角点的提取；以及SUSAN拐角检测器等。这些算法都是基于图像边缘和基于图像灰度的方法。本文根据标识物图形特点，提出一种角点检测方法，通过计算轮廓上各点到直线的距离来求解角点。 在连通成分搜索时，已经确定候选四边形区域的四个极值坐标分量minX，minY，maxX，maxY，并由四边形的几何形状特性可判断其中至少有两点是目标区域的角点。如图9 所示，假设其中两角点为M、N，则直线MN 存在两种情况：（1）直线MN 为标识图形一对角线；（2）直线MN 为标识图形一边。在利用轮廓检测器提取各标识物轮廓并记录轮廓上所有点坐标值后，通过判断轮廓线上点（其中包括位于直线MN 上的点）位于直线MN 两侧（图9.a）还是一侧（图9.b），而把轮廓上所有点分成两组或一组存储。分别计算轮廓上各点到直线MN距离： １）假设图形如图9.a，则轮廓上点分两组存储，通过计算两组轮廓点到直线MN 距离D ，D .（i 1，2..m， j 1，2...n） i j = = ，取各组中最大距离i j max D ，max D 所对应轮廓点，即为角点Q ， L. 其中max D max（D | i 1，2...m） i i = = ，max D max（D | j 1，2...n） j j = = 。 ２）假设图形如图9.b，则轮廓上点存储在一组中，通过计算轮廓上点到直线MN 距离D （k 1，2..m） k = ，取最大距离所对应的点为角点（因轮廓上所有点在直线MN 一边，故最大值只有一点Q），然后以直线QN 为对角线，重复１）式操作，即可求出第四个角点L。 ３）假设图形如图9.c，如果出现标识区域对边平行时，则出现多个相等最大距离。根据连通搜索时已经记录搜索区域的四个极值 minX， minY， maxX， maxY，分别求解y=minY和y=maxY 时，所对应的最小和最大x 值作为区域四个角点，而不需再计算轮廓上点到直线距离。 大量的试验表明，该算法提取角点的正确率达到97%，具有较好的稳定性和较高的精度。与其他提取角点的算法相比，大大提高了计算时间。 图9　提取拐角点 （二）透视变换 为解决候选目标区域图像的变形问题，在进行匹配前，须对候选目标区域进行透视变换。对图像进行透视变换，就是对已知四个角点坐标畸变了的四边形与已知四个角点坐标的矩形之间的一一对应，产生一种能保持连续性和连通性的光滑映射。图10 所示为四边形映射关系。 图10  四角映射 透视变换的向前映射函数可表示为： 其中 [ui， vi]与[xi ， yi] （i=0，1，2，3） 是畸变图像和目标图像相对应点，由它们构成四对控制点对。 利用四个已知控制点对代入方程（5）， （6）得到八个系数，从而得到畸变图像和目标图像之间的投影变换矩阵。然后对于目标图像中任意一点（xi ， yi），根据目标图像和畸变图像之间的投影变换矩阵求得（ui， vi），最后根据最临近插值的原则找出相应的畸变图像灰度值。图11，图12 中灰色区域为透视变换前图形，黑色区域为透视变换后图形（其中透视变换后图形叠加在透视变换前图形上）。 图11  透视交换                             图12  透视交换 四、目标物体识别 经过一系列的图像处理、分析后，最终确定了候选区域，最后必须确认是否含有某一目标物体，并且对已确认的不同标识物进行识别；因此需要对候选区域和模板匹配，来决定是否保留某候选区域。 在传统的模板匹配方式下，算法的基本过程都是在一定的图像区域中搜索与给定模板图像在某种最佳匹配的图像子块。一般需作O（n-p+1）*（m-q+1）*p*q 次计算（假设被匹配图像为m*n，而模板图像为p*q），这需要消耗大量时间，尽管有许多针对此方法的改进算法，但并未产生在计算复杂度的指数级上的改进。由于在上两步连通成分分析和透视变换后对各候选标识物区域位置和尺寸已知，本文提出的模板匹配只需把模板和候选区域的四个角点一一对应，然后进行四个方向（0，90，180，270）差值比较，差值最小者即为所寻找目标图像。这样既避免了传统模板匹配对平移、旋转较敏感的缺点，同时避免了对整个图像搜索所带来的运算速度较慢的缺点，大大提高匹配速度及匹配的准确性。 图13 图像匹配                            图14 图像匹配 相关系数R 如下：           （8） 其中T 为模板图像，S 为待匹配图像。 本课题对模板和待匹配图像经过透视变换后尺寸为40×40。处理后的结果如图13，图14 所示：其中灰色区域为待匹配（包括标识物和未能滤除的非标识物）图像，黑色图形为模板图像。 五、总结 本文提出了一种在复杂背景下实时提取、识别场景中多目标物体的方法。该方法通过利用2D 矩阵码作为标识物，对原始图像经过二值化、连通区域分析提取候选标识物，经过拐角点提取、透视变换归一化标识物图像与模板进行匹配，不仅能够从较为复杂的背景中检测出经过平移、旋转及尺度变化的目标，而且对摄像机引起的矩阵码的几何失真具有良好的适应能力。本算法识别一个标识图形所需平均时间为60ms，识别算例中4个标识图形的平均时间100ms，识别的正确率达到96%以上。试验证明该方法性能较稳定，同时满足系统对实时性的要求。可以应用于包括车辆的跟踪、机器人控制、基于动态的识别和视频场景监控等领域。 （来源：微计算机信息 作者：任清论）