OpenCV支持的目标检测的方法是利用样本的Haar特征进行的分类器训练,得到的级联boosted分类器(Cascade Classification)。注意,新版本的C++接口除了Haar特征以外也可以使用LBP特征。
先介绍一下相关的结构,级联分类器的计算特征值的基础类FeatureEvaluator,功能包括读操作read、复制clone、获得特征类型getFeatureType,分配图片分配窗口的操作setImage、setWindow,计算有序特征calcOrd,计算绝对特征calcCat,创建分类器特征的结构create函数。级联分类器类CascadeClassifier。目标级联矩形的分组函数groupRectangles。
接下来,我尝试使用CascadeClassifier这个级联分类器类检测视频流中的目标(haar支持的目标有人脸、人眼、嘴、鼻、身体。这里尝试比较成熟的人脸和眼镜)。用load函数加载XML分类器文件(目前提供的分类器包括Haar分类器和LBP分类器(LBP分类器数据较少))具体步骤如下:
这里再补充一点:后来我又进行了一些实验,对正面人脸分类器进行了实验,总共有4个,alt、alt2、alt_tree、default。对比下来发现alt和alt2的效果比较好,alt_tree耗时较长,default是一个轻量级的,经常出现误检测。所以还是推荐大家使用haarcascade_frontalface_atl.xml和haarcascade_frontalface_atl2.xml。
跟踪用的CamShift算法
详细参见本博文:http://blog.csdn.net/wobuaishangdiao/article/details/7660668
简介
CamShift算法,即"Continuously Apative Mean-Shift"算法,是一种运动跟踪算法。它主要通过视频图像中运动物体的颜色信息来达到跟踪的目的。我把这个算法分解成三个部分,便于理解:
Back Projection计算。
Mean Shift算法
CamShift算法
1) 、Back Projection计算
计算Back Projection的步骤是这样的:
1~. 计算被跟踪目标的色彩直方图。在各种色彩空间中,只有HSI空间(或与HSI类似的色彩空间)中的H分量可以表示颜色信息。所以在具体的计算过程中,首先将其他的色彩空间的值转化到HSI空间,然后会其中的H分量做1D直方图计算。
2.~ 根据获得的色彩直方图将原始图像转化成色彩概率分布图像,这个过程就被称作"Back Projection"。
在OpenCV中的直方图函数中,包含Back Projection的函数,函数原型是:
void cvCalcBackProject(IplImage** img, CvArr** backproject, const CvHistogram* hist);
传递给这个函数的参数有三个:
1_. IplImage** img:存放原始图像,输入。
2_. CvArr** backproject:存放Back Projection结果,输出。
3_. CvHistogram* hist:存放直方图,输入
实现:
1.准备一张只包含被跟踪目标的图片,将色彩空间转化到HSI空间,获得其中的H分量
2.计算H分量的直方图,即1D直方图
3.计算Back Projection:
2) Mean Shift算法
这里来到了CamShift算法,OpenCV实现的第二部分,这一次重点讨论Mean Shift算法。
在讨论Mean Shift算法之前,首先讨论在2D概率分布图像中,如何计算某个区域的重心(Mass Center)的问题
讨论Mean Shift算法的具体步骤,Mean Shift算法可以分为以下4步:
1~.选择窗的大小和初始位置.
2~.计算此时窗口内的Mass Center.
3~.调整窗口的中心到Mass Center.
4~.重复2和3,直到窗口中心"会聚",即每次窗口移动的距离小于一定的阈值。
3) CamShift算法
1.原理
在了解了MeanShift算法以后,我们将MeanShift算法扩展到连续图像序列(一般都是指视频图像序列),这样就形成了CamShift算法。CamShift算法的全称是"Continuously Apaptive Mean-SHIFT",它的基本思想是视频图像的所有帧作MeanShift运算,并将上一帧的结果(即Search Window的中心和大小)作为下一帧MeanShift算法的Search Window的初始值,如此迭代下去,就可以实现对目标的跟踪。整个算法的具体步骤分5步:
Step 1:将整个图像设为搜寻区域。
Step 2:初始话Search Window的大小和位置。
Step 3:计算Search Window内的彩色概率分布,此区域的大小比Search Window要稍微大一点。
Step 4:运行MeanShift。获得Search Window新的位置和大小。
Step 5:在下一帧视频图像中,用Step 3获得的值初始化Search Window的位置和大小。跳转到Step 3继续运行。
二、算法实现过程详解
(1)首先先建立一个images文件夹,在其中放置一些头像的照片。之后我们在程序中用 _finddata_t file;对文件名进行了加载,为后续的识别过程做好前提。同时建立一个矢量的图像存储单元vector<IplImage*> faces;为后来的识别对比做好准备。
(2)建立了一个级联分类器变量对 CascadeClassifier cascade, nestedCascade; 利用进行人脸的检测以及人眼的检测
[cpp] view plaincopy
String cascadeName =
"haarcascades/haarcascade_frontalface_alt.xml"; //使用的预先训练好的检测器人前脸检测
String nestedCascadeName =
"haarcascades/haarcascade_eye_tree_eyeglasses.xml"; //预先训练好的眼睛和眼睛框检测
(3)进入处理过程
在image还是新的图像时,我们进行一些列的初始化。并且对图像进行直方图的提取,其中hdims表示提取后的所保留的几个阶段,而hranges是所有的值得缩放比例
[cpp] view plaincopy
if( !image ) //如果此时的image 还是新的图时
{
image = cvCreateImage( cvGetSize(frame), 8, 3 );
image->origin = frame->origin;
hsv = cvCreateImage( cvGetSize(frame), 8, 3 );
hue = cvCreateImage( cvGetSize(frame), 8, 1 );
mask = cvCreateImage( cvGetSize(frame), 8, 1 );
backproject = cvCreateImage( cvGetSize(frame), 8, 1 );
hist = cvCreateHist( 1, &hdims, CV_HIST_ARRAY, &hranges, 1 ); //float hranges_arr[] = {0,180}; float* hranges = hranges_arr; //int hdims = 16;
//构建直方图
histimg = cvCreateImage( cvSize(320,200), 8, 3 ); //后序的直方图的显示表示图
cvZero( histimg );
}
(4)因为开始的时候track_object定义为0,所以我们首先进入的是else部分。我们利用Haar检测器,进行检测,
[cpp] view plaincopy
CvRect result; //可将其转化为感兴趣的区域,即人脸区域的方框
result = detectAndDraw( frameCopy, cascade, nestedCascade, scale ); //frameCopy IMAGE TO MAT //cascade and nestedCascade are CascadeClassifier // double scale = 1;
[cpp] view plaincopy
[cpp] view plaincopy
detectAndDraw代码的注释已经很详细就不多解释了:
[cpp] view plaincopy
<pre name="code" class="cpp">CvRect detectAndDraw( Mat& img,
CascadeClassifier& cascade, CascadeClassifier& nestedCascade,
double scale)
{
int i = 0;
double t = 0; //用来记录检测出人脸所用的时间
vector<Rect> faces; //存储检测到的人脸所在矩形区域
CvRect result;
result.x = 0;
result.y = 0;
result.width = 0;
result.height = 0;
const static Scalar colors[] = { CV_RGB(0,0,255),
CV_RGB(0,128,255),
CV_RGB(0,255,255),
CV_RGB(0,255,0),
CV_RGB(255,128,0),
CV_RGB(255,255,0),
CV_RGB(255,0,0),
CV_RGB(255,0,255)} ; //画圆圈的颜色
//define two mat
Mat gray, smallImg( cvRound (img.rows/scale), cvRound(img.cols/scale), CV_8UC1 ); //图形矩阵进行缩放
cvtColor( img, gray, CV_BGR2GRAY );
resize( gray, smallImg, smallImg.size(), 0, 0, INTER_LINEAR ); //INTER_LINEAR - 双线性插值 (缺省使用)
equalizeHist( smallImg, smallImg ); //直方图均衡化
//cvShowImage("eg", imgBuf);
t = (double)cvGetTickCount(); //欲测量的算法耗时
cascade.detectMultiScale( smallImg, faces, //faces 得到被检测物体的矩形框向量组
1.1, 2, 0 //为每一个图像尺度中的尺度参数,默认值为1.1 //为每一个级联矩形应该保留的邻近个数
|CV_HAAR_SCALE_IMAGE //转换后的区域寻找人脸
,
Size(30, 30) ); //.minSize和maxSize用来限制得到的目标区域的范围
for( vector<Rect>::const_iterator r = faces.begin(); r != faces.end(); r++, i++ )
{
//每一个检测到的区域进行检测
Mat smallImgROI; //另一个小的感兴趣的位置
vector<Rect> nestedObjects;
Point center; //中心点
Scalar color = colors[i%8];
int radius;
center.x = cvRound((r->x + r->width*0.5)*scale); // double scale = 1; 未进行变换
center.y = cvRound((r->y + r->height*0.5)*scale); //分别检测到的中心处的坐标
radius = cvRound((r->width + r->height)*0.25*scale); //圆的半径
result.x = center.x-radius; //其实就是我们要的那个中心为center,半径为radius的框
result.y = center.y-radius;
result.width = 2*radius;
result.height = 2*radius;
//ellipse( img, center, Size((int)(faces[i].width*0.5), (int)(faces[i].height*0.5)), 0, 0, 360, cvScalar(255, 0, 255), 2, 8, 0);
return result;
}
return result;
}
</pre>对检测的结果即为人脸图,利用一下进行了提取
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">selection.x = MAX(result.x,0);
selection.y = MAX(result.y,0);
selection.width = MIN(result.width,image->width-result.x); //即从提取的图片中的左上角开始,一直到整幅图像的右下角
selection.height = MIN(result.height,image->height-result.y);
cvSetImageROI(image,selection); //在图像选定感兴趣的区域
face = cvCreateImage( cvGetSize(image), 8, 3 );
face->origin = image->origin;
cvCopy(image,face); //现在的face即为那个左上到全部右下
cvResetImageROI(image); </pre><br>
<img src="https://img-my.csdn.net/uploads/201206/21/1340283129_9503.jpg" alt=""><br>
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; ">并且我们对选定的范围进行了减小,这样为后序的人眼检测提供方便:</pre><pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">int w = selection.width/3;
int h = selection.height/3;
selection.x = selection.x+selection.width/2-w/2;
selection.y = selection.y+selection.height/2-h/2;
selection.width = w; //即为此处的做顶点向前和向上推进了1/3
selection.height = h;
cascade.load( nestedCascadeName ); //寻找人眼
result = detectAndDraw( frameCopy, cascade, nestedCascade, scale );
cascade.load( cascadeName );
//此时result为人眼的区域
if(!(result.x==0 && result.y==0 && result.width==0 && result.height==0))
{
selection.x = MAX(result.x,0);
selection.y = MAX(result.y,0);
selection.width = MIN(result.width,image->width-result.x);
selection.height = MIN(result.height,image->height-result.y);
}</pre>检测完后,重要的连锁:
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"><span> </span>lose = 0;
track_object=-1;</pre>(5)检测完后,我们通过对比我们图像库中的图像进行了识别的过程,我们通过的方法利用相关系数进行了识别的过程。将提取的感兴趣的图像和模板图像进行了直方图均衡化,之后我们对两幅图计算了相关系数的值<br>
<pre name="code" class="cpp">IplImage* face_resize = cvCreateImage( cvGetSize(faces.at(i)), 8, 3 );
cvResize(face,face_resize); //视频读取的和文件读取的后者为文件读取的
IplImage* src = cvCreateImage( cvGetSize(face_resize),face_resize->depth,1);
//cvShowImage( "eg", face ); //face为人脸的标出,通过HAAR检测器,检测出,而face_at(i)为读取的文件中的图
IplImage* temp = cvCreateImage( cvGetSize(faces.at(i)),faces.at(i)->depth,1);
cvCvtColor(face_resize,src,CV_RGB2GRAY);
//cvShowImage( "eg", backproject );
cvCvtColor(faces.at(i),temp,CV_RGB2GRAY);
cvEqualizeHist(src,src);
cvEqualizeHist(temp,temp); //直方图均衡化
//cvShowImage( "eg", src );
double p1=0,p2=0;
int pn=0;
for(int y=0;y<src->height;y++)
{
uchar* ptr1=(uchar*)(src->imageData+y*src->widthStep);
uchar* ptr2=(uchar*)(temp->imageData+y*temp->widthStep);
for(int x=0;x<src->width;x++)
{
pn++;
p1+=double(ptr1[x])/255; //对齐进行先放缩到0-1,在都进行求和,全部的点
p2+=double(ptr2[x])/255;
}
}
p1/=pn;
p2/=pn; //全部点的值得平均值
double a=0,b1=0,b2=0;
for(int y=0;y<src->height;y++)
{
uchar* ptr1=(uchar*)(src->imageData+y*src->widthStep);
uchar* ptr2=(uchar*)(temp->imageData+y*temp->widthStep);
for(int x=0;x<src->width;x++)
{
double n1=double(ptr1[x])/255-p1; //缩放后的值与平均值相比的大小
double n2=double(ptr2[x])/255-p2;
a+=n1*n2;
b1+=n1*n1;
b2+=n2*n2;
}
}
double rec=a/pow(double(b1*b2),double(0.5)); //计算相关系数 //计算(b1*b2)^(1/2)
</pre>然后找出相关系数最高的那个,并且最高的大于0.4的话face_no = val_no;是第几幅图最大的匹配,如果小于0.4 则认为是陌生人输出“Stranger”,否则输出图像库的名称。
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">if(max_val > 0.4) //如果自相关性没有达到那么高
face_no = val_no;
if(face_no != face_pre) //
{
if(face_no == -1) //如果自相关性不高
opt = "Stranger";
else
opt = names.at(face_no).substr(7,names.at(face_no).size()-11);
cout<<opt<<endl;
}</pre>(6)人脸跟踪,应为这是track_object = -1,(我们不进行操作的情况下)在跟踪过程中,我们进行对提取的一帧图进行了直方图的提取,并且进行了归一化的处理,应为此时已经找到了感兴趣的区域,在此时我们对感兴趣的区域进行了跟踪。
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"><span> </span>cvSetImageROI( hue, selection ); //在hsv单通道的图像中找到自己所感兴趣的区域
cvSetImageROI( mask, selection ); </pre>我们对每一个直方图柱进行了颜色分配和矩形表示
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"> for( i = 0; i < hdims; i++ ) //共有hdims个直方图的图驻
{
//cout << cvGetReal1D(hist->bins,i) << endl;
int val = cvRound( cvGetReal1D(hist->bins,i)*histimg->height/255 );
CvScalar color = hsv2rgb(i*180.f/hdims); //convertto RGB to display the hist
cvRectangle( histimg, cvPoint(i*bin_w,histimg->height),
cvPoint((i+1)*bin_w,histimg->height - val),
color, -1, 8, 0 ); //plot a rectangle(矩形) //将统计的直方图柱画为矩形小块
}</pre>进入了cvCamShift,首先进行了反向投影,并且与将反向投影的图与我们开始HAAR检测出的感兴趣的selection进行了与运算,之后进行了跟踪,并且用椭圆进行了跟踪。
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"> cvCalcBackProject( &hue, backproject, hist ); //方向投影,将图像投影到16个柱的统计数目的图
//cvShowImage( "eg", backproject );
cvAnd( backproject, mask, backproject, 0 ); //进行位与运算
//cvShowImage( "eg", backproject );
cvCamShift( backproject, track_window, //backproject 代表可能位置的密度 //在框中寻找中心
cvTermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ), // use mean-shift to track the project
&track_comp, &track_box ); //track_box由上一图的box包含的二阶矩计算出来的尺寸 ??为什么现在只是检测出了头
track_window = track_comp.rect; //现在找到的感兴趣的区域作为下一幅图的窗口
if( backproject_mode )
cvCvtColor( backproject, image, CV_GRAY2BGR ); //将方向投影图转化回RGB
if( !image->origin ) //
track_box.angle = -track_box.angle; //跟踪盒子和那个视频的矩的一个反向偏差
cvEllipseBox( image, track_box, CV_RGB(255,0,0), 3, CV_AA, 0 ); //draw 椭圆 // cvCamShift and cvFitEllipse do
lose++;
if(lose>=50)
track_object=0; //50个一个循环
</pre>后三个参数可以看出,我们是跟踪50帧的图像,然后在进行一次检测!<br>
<img src="https://img-my.csdn.net/uploads/201206/22/1340362362_7630.jpg" alt=""><br>
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "></pre><pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "></pre>
<p></p>
<p><span style="font-size:14px; line-height:26px; color:rgb(51,51,51); font-family:Arial"></span></p>
<p><span style="font-family:Arial; color:#333333"><span style="font-size:14px; line-height:26px"></span></span></p>
<p></p>
<span style="font-family:'Microsoft YaHei'; font-size:16px"></span>
<p></p>
<span style="font-family:'Microsoft YaHei'; font-size:16px"></span>
<p></p>
<p><span style="font-family:'Microsoft YaHei'; font-size:16px"><span style="color:rgb(51,51,51); font-family:Arial; font-size:14px; line-height:26px"></span></span></p>
<p></p>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
</pre></pre></pre></pre></pre></pre></pre>
先介绍一下相关的结构,级联分类器的计算特征值的基础类FeatureEvaluator,功能包括读操作read、复制clone、获得特征类型getFeatureType,分配图片分配窗口的操作setImage、setWindow,计算有序特征calcOrd,计算绝对特征calcCat,创建分类器特征的结构create函数。级联分类器类CascadeClassifier。目标级联矩形的分组函数groupRectangles。
接下来,我尝试使用CascadeClassifier这个级联分类器类检测视频流中的目标(haar支持的目标有人脸、人眼、嘴、鼻、身体。这里尝试比较成熟的人脸和眼镜)。用load函数加载XML分类器文件(目前提供的分类器包括Haar分类器和LBP分类器(LBP分类器数据较少))具体步骤如下:
这里再补充一点:后来我又进行了一些实验,对正面人脸分类器进行了实验,总共有4个,alt、alt2、alt_tree、default。对比下来发现alt和alt2的效果比较好,alt_tree耗时较长,default是一个轻量级的,经常出现误检测。所以还是推荐大家使用haarcascade_frontalface_atl.xml和haarcascade_frontalface_atl2.xml。
跟踪用的CamShift算法
详细参见本博文:http://blog.csdn.net/wobuaishangdiao/article/details/7660668
简介
CamShift算法,即"Continuously Apative Mean-Shift"算法,是一种运动跟踪算法。它主要通过视频图像中运动物体的颜色信息来达到跟踪的目的。我把这个算法分解成三个部分,便于理解:
Back Projection计算。
Mean Shift算法
CamShift算法
1) 、Back Projection计算
计算Back Projection的步骤是这样的:
1~. 计算被跟踪目标的色彩直方图。在各种色彩空间中,只有HSI空间(或与HSI类似的色彩空间)中的H分量可以表示颜色信息。所以在具体的计算过程中,首先将其他的色彩空间的值转化到HSI空间,然后会其中的H分量做1D直方图计算。
2.~ 根据获得的色彩直方图将原始图像转化成色彩概率分布图像,这个过程就被称作"Back Projection"。
在OpenCV中的直方图函数中,包含Back Projection的函数,函数原型是:
void cvCalcBackProject(IplImage** img, CvArr** backproject, const CvHistogram* hist);
传递给这个函数的参数有三个:
1_. IplImage** img:存放原始图像,输入。
2_. CvArr** backproject:存放Back Projection结果,输出。
3_. CvHistogram* hist:存放直方图,输入
实现:
1.准备一张只包含被跟踪目标的图片,将色彩空间转化到HSI空间,获得其中的H分量
2.计算H分量的直方图,即1D直方图
3.计算Back Projection:
2) Mean Shift算法
这里来到了CamShift算法,OpenCV实现的第二部分,这一次重点讨论Mean Shift算法。
在讨论Mean Shift算法之前,首先讨论在2D概率分布图像中,如何计算某个区域的重心(Mass Center)的问题
讨论Mean Shift算法的具体步骤,Mean Shift算法可以分为以下4步:
1~.选择窗的大小和初始位置.
2~.计算此时窗口内的Mass Center.
3~.调整窗口的中心到Mass Center.
4~.重复2和3,直到窗口中心"会聚",即每次窗口移动的距离小于一定的阈值。
3) CamShift算法
1.原理
在了解了MeanShift算法以后,我们将MeanShift算法扩展到连续图像序列(一般都是指视频图像序列),这样就形成了CamShift算法。CamShift算法的全称是"Continuously Apaptive Mean-SHIFT",它的基本思想是视频图像的所有帧作MeanShift运算,并将上一帧的结果(即Search Window的中心和大小)作为下一帧MeanShift算法的Search Window的初始值,如此迭代下去,就可以实现对目标的跟踪。整个算法的具体步骤分5步:
Step 1:将整个图像设为搜寻区域。
Step 2:初始话Search Window的大小和位置。
Step 3:计算Search Window内的彩色概率分布,此区域的大小比Search Window要稍微大一点。
Step 4:运行MeanShift。获得Search Window新的位置和大小。
Step 5:在下一帧视频图像中,用Step 3获得的值初始化Search Window的位置和大小。跳转到Step 3继续运行。
二、算法实现过程详解
(1)首先先建立一个images文件夹,在其中放置一些头像的照片。之后我们在程序中用 _finddata_t file;对文件名进行了加载,为后续的识别过程做好前提。同时建立一个矢量的图像存储单元vector<IplImage*> faces;为后来的识别对比做好准备。
(2)建立了一个级联分类器变量对 CascadeClassifier cascade, nestedCascade; 利用进行人脸的检测以及人眼的检测
[cpp] view plaincopy
String cascadeName =
"haarcascades/haarcascade_frontalface_alt.xml"; //使用的预先训练好的检测器人前脸检测
String nestedCascadeName =
"haarcascades/haarcascade_eye_tree_eyeglasses.xml"; //预先训练好的眼睛和眼睛框检测
(3)进入处理过程
在image还是新的图像时,我们进行一些列的初始化。并且对图像进行直方图的提取,其中hdims表示提取后的所保留的几个阶段,而hranges是所有的值得缩放比例
[cpp] view plaincopy
if( !image ) //如果此时的image 还是新的图时
{
image = cvCreateImage( cvGetSize(frame), 8, 3 );
image->origin = frame->origin;
hsv = cvCreateImage( cvGetSize(frame), 8, 3 );
hue = cvCreateImage( cvGetSize(frame), 8, 1 );
mask = cvCreateImage( cvGetSize(frame), 8, 1 );
backproject = cvCreateImage( cvGetSize(frame), 8, 1 );
hist = cvCreateHist( 1, &hdims, CV_HIST_ARRAY, &hranges, 1 ); //float hranges_arr[] = {0,180}; float* hranges = hranges_arr; //int hdims = 16;
//构建直方图
histimg = cvCreateImage( cvSize(320,200), 8, 3 ); //后序的直方图的显示表示图
cvZero( histimg );
}
(4)因为开始的时候track_object定义为0,所以我们首先进入的是else部分。我们利用Haar检测器,进行检测,
[cpp] view plaincopy
CvRect result; //可将其转化为感兴趣的区域,即人脸区域的方框
result = detectAndDraw( frameCopy, cascade, nestedCascade, scale ); //frameCopy IMAGE TO MAT //cascade and nestedCascade are CascadeClassifier // double scale = 1;
[cpp] view plaincopy
[cpp] view plaincopy
detectAndDraw代码的注释已经很详细就不多解释了:
[cpp] view plaincopy
<pre name="code" class="cpp">CvRect detectAndDraw( Mat& img,
CascadeClassifier& cascade, CascadeClassifier& nestedCascade,
double scale)
{
int i = 0;
double t = 0; //用来记录检测出人脸所用的时间
vector<Rect> faces; //存储检测到的人脸所在矩形区域
CvRect result;
result.x = 0;
result.y = 0;
result.width = 0;
result.height = 0;
const static Scalar colors[] = { CV_RGB(0,0,255),
CV_RGB(0,128,255),
CV_RGB(0,255,255),
CV_RGB(0,255,0),
CV_RGB(255,128,0),
CV_RGB(255,255,0),
CV_RGB(255,0,0),
CV_RGB(255,0,255)} ; //画圆圈的颜色
//define two mat
Mat gray, smallImg( cvRound (img.rows/scale), cvRound(img.cols/scale), CV_8UC1 ); //图形矩阵进行缩放
cvtColor( img, gray, CV_BGR2GRAY );
resize( gray, smallImg, smallImg.size(), 0, 0, INTER_LINEAR ); //INTER_LINEAR - 双线性插值 (缺省使用)
equalizeHist( smallImg, smallImg ); //直方图均衡化
//cvShowImage("eg", imgBuf);
t = (double)cvGetTickCount(); //欲测量的算法耗时
cascade.detectMultiScale( smallImg, faces, //faces 得到被检测物体的矩形框向量组
1.1, 2, 0 //为每一个图像尺度中的尺度参数,默认值为1.1 //为每一个级联矩形应该保留的邻近个数
|CV_HAAR_SCALE_IMAGE //转换后的区域寻找人脸
,
Size(30, 30) ); //.minSize和maxSize用来限制得到的目标区域的范围
for( vector<Rect>::const_iterator r = faces.begin(); r != faces.end(); r++, i++ )
{
//每一个检测到的区域进行检测
Mat smallImgROI; //另一个小的感兴趣的位置
vector<Rect> nestedObjects;
Point center; //中心点
Scalar color = colors[i%8];
int radius;
center.x = cvRound((r->x + r->width*0.5)*scale); // double scale = 1; 未进行变换
center.y = cvRound((r->y + r->height*0.5)*scale); //分别检测到的中心处的坐标
radius = cvRound((r->width + r->height)*0.25*scale); //圆的半径
result.x = center.x-radius; //其实就是我们要的那个中心为center,半径为radius的框
result.y = center.y-radius;
result.width = 2*radius;
result.height = 2*radius;
//ellipse( img, center, Size((int)(faces[i].width*0.5), (int)(faces[i].height*0.5)), 0, 0, 360, cvScalar(255, 0, 255), 2, 8, 0);
return result;
}
return result;
}
</pre>对检测的结果即为人脸图,利用一下进行了提取
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">selection.x = MAX(result.x,0);
selection.y = MAX(result.y,0);
selection.width = MIN(result.width,image->width-result.x); //即从提取的图片中的左上角开始,一直到整幅图像的右下角
selection.height = MIN(result.height,image->height-result.y);
cvSetImageROI(image,selection); //在图像选定感兴趣的区域
face = cvCreateImage( cvGetSize(image), 8, 3 );
face->origin = image->origin;
cvCopy(image,face); //现在的face即为那个左上到全部右下
cvResetImageROI(image); </pre><br>
<img src="https://img-my.csdn.net/uploads/201206/21/1340283129_9503.jpg" alt=""><br>
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; ">并且我们对选定的范围进行了减小,这样为后序的人眼检测提供方便:</pre><pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">int w = selection.width/3;
int h = selection.height/3;
selection.x = selection.x+selection.width/2-w/2;
selection.y = selection.y+selection.height/2-h/2;
selection.width = w; //即为此处的做顶点向前和向上推进了1/3
selection.height = h;
cascade.load( nestedCascadeName ); //寻找人眼
result = detectAndDraw( frameCopy, cascade, nestedCascade, scale );
cascade.load( cascadeName );
//此时result为人眼的区域
if(!(result.x==0 && result.y==0 && result.width==0 && result.height==0))
{
selection.x = MAX(result.x,0);
selection.y = MAX(result.y,0);
selection.width = MIN(result.width,image->width-result.x);
selection.height = MIN(result.height,image->height-result.y);
}</pre>检测完后,重要的连锁:
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"><span> </span>lose = 0;
track_object=-1;</pre>(5)检测完后,我们通过对比我们图像库中的图像进行了识别的过程,我们通过的方法利用相关系数进行了识别的过程。将提取的感兴趣的图像和模板图像进行了直方图均衡化,之后我们对两幅图计算了相关系数的值<br>
<pre name="code" class="cpp">IplImage* face_resize = cvCreateImage( cvGetSize(faces.at(i)), 8, 3 );
cvResize(face,face_resize); //视频读取的和文件读取的后者为文件读取的
IplImage* src = cvCreateImage( cvGetSize(face_resize),face_resize->depth,1);
//cvShowImage( "eg", face ); //face为人脸的标出,通过HAAR检测器,检测出,而face_at(i)为读取的文件中的图
IplImage* temp = cvCreateImage( cvGetSize(faces.at(i)),faces.at(i)->depth,1);
cvCvtColor(face_resize,src,CV_RGB2GRAY);
//cvShowImage( "eg", backproject );
cvCvtColor(faces.at(i),temp,CV_RGB2GRAY);
cvEqualizeHist(src,src);
cvEqualizeHist(temp,temp); //直方图均衡化
//cvShowImage( "eg", src );
double p1=0,p2=0;
int pn=0;
for(int y=0;y<src->height;y++)
{
uchar* ptr1=(uchar*)(src->imageData+y*src->widthStep);
uchar* ptr2=(uchar*)(temp->imageData+y*temp->widthStep);
for(int x=0;x<src->width;x++)
{
pn++;
p1+=double(ptr1[x])/255; //对齐进行先放缩到0-1,在都进行求和,全部的点
p2+=double(ptr2[x])/255;
}
}
p1/=pn;
p2/=pn; //全部点的值得平均值
double a=0,b1=0,b2=0;
for(int y=0;y<src->height;y++)
{
uchar* ptr1=(uchar*)(src->imageData+y*src->widthStep);
uchar* ptr2=(uchar*)(temp->imageData+y*temp->widthStep);
for(int x=0;x<src->width;x++)
{
double n1=double(ptr1[x])/255-p1; //缩放后的值与平均值相比的大小
double n2=double(ptr2[x])/255-p2;
a+=n1*n2;
b1+=n1*n1;
b2+=n2*n2;
}
}
double rec=a/pow(double(b1*b2),double(0.5)); //计算相关系数 //计算(b1*b2)^(1/2)
</pre>然后找出相关系数最高的那个,并且最高的大于0.4的话face_no = val_no;是第几幅图最大的匹配,如果小于0.4 则认为是陌生人输出“Stranger”,否则输出图像库的名称。
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">if(max_val > 0.4) //如果自相关性没有达到那么高
face_no = val_no;
if(face_no != face_pre) //
{
if(face_no == -1) //如果自相关性不高
opt = "Stranger";
else
opt = names.at(face_no).substr(7,names.at(face_no).size()-11);
cout<<opt<<endl;
}</pre>(6)人脸跟踪,应为这是track_object = -1,(我们不进行操作的情况下)在跟踪过程中,我们进行对提取的一帧图进行了直方图的提取,并且进行了归一化的处理,应为此时已经找到了感兴趣的区域,在此时我们对感兴趣的区域进行了跟踪。
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"><span> </span>cvSetImageROI( hue, selection ); //在hsv单通道的图像中找到自己所感兴趣的区域
cvSetImageROI( mask, selection ); </pre>我们对每一个直方图柱进行了颜色分配和矩形表示
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"> for( i = 0; i < hdims; i++ ) //共有hdims个直方图的图驻
{
//cout << cvGetReal1D(hist->bins,i) << endl;
int val = cvRound( cvGetReal1D(hist->bins,i)*histimg->height/255 );
CvScalar color = hsv2rgb(i*180.f/hdims); //convertto RGB to display the hist
cvRectangle( histimg, cvPoint(i*bin_w,histimg->height),
cvPoint((i+1)*bin_w,histimg->height - val),
color, -1, 8, 0 ); //plot a rectangle(矩形) //将统计的直方图柱画为矩形小块
}</pre>进入了cvCamShift,首先进行了反向投影,并且与将反向投影的图与我们开始HAAR检测出的感兴趣的selection进行了与运算,之后进行了跟踪,并且用椭圆进行了跟踪。
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"> cvCalcBackProject( &hue, backproject, hist ); //方向投影,将图像投影到16个柱的统计数目的图
//cvShowImage( "eg", backproject );
cvAnd( backproject, mask, backproject, 0 ); //进行位与运算
//cvShowImage( "eg", backproject );
cvCamShift( backproject, track_window, //backproject 代表可能位置的密度 //在框中寻找中心
cvTermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ), // use mean-shift to track the project
&track_comp, &track_box ); //track_box由上一图的box包含的二阶矩计算出来的尺寸 ??为什么现在只是检测出了头
track_window = track_comp.rect; //现在找到的感兴趣的区域作为下一幅图的窗口
if( backproject_mode )
cvCvtColor( backproject, image, CV_GRAY2BGR ); //将方向投影图转化回RGB
if( !image->origin ) //
track_box.angle = -track_box.angle; //跟踪盒子和那个视频的矩的一个反向偏差
cvEllipseBox( image, track_box, CV_RGB(255,0,0), 3, CV_AA, 0 ); //draw 椭圆 // cvCamShift and cvFitEllipse do
lose++;
if(lose>=50)
track_object=0; //50个一个循环
</pre>后三个参数可以看出,我们是跟踪50帧的图像,然后在进行一次检测!<br>
<img src="https://img-my.csdn.net/uploads/201206/22/1340362362_7630.jpg" alt=""><br>
<pre></pre>
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "></pre><pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "></pre>
<p></p>
<p><span style="font-size:14px; line-height:26px; color:rgb(51,51,51); font-family:Arial"></span></p>
<p><span style="font-family:Arial; color:#333333"><span style="font-size:14px; line-height:26px"></span></span></p>
<p></p>
<span style="font-family:'Microsoft YaHei'; font-size:16px"></span>
<p></p>
<span style="font-family:'Microsoft YaHei'; font-size:16px"></span>
<p></p>
<p><span style="font-family:'Microsoft YaHei'; font-size:16px"><span style="color:rgb(51,51,51); font-family:Arial; font-size:14px; line-height:26px"></span></span></p>
<p></p>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
<pre></pre>
</pre></pre></pre></pre></pre></pre></pre>