人脸检测、跟踪与人脸识别

OpenCV支持的目标检测的方法是利用样本的Haar特征进行的分类器训练，得到的级联boosted分类器（Cascade Classification）。注意，新版本的C++接口除了Haar特征以外也可以使用LBP特征。


先介绍一下相关的结构，级联分类器的计算特征值的基础类FeatureEvaluator，功能包括读操作read、复制clone、获得特征类型getFeatureType，分配图片分配窗口的操作setImage、setWindow，计算有序特征calcOrd，计算绝对特征calcCat，创建分类器特征的结构create函数。级联分类器类CascadeClassifier。目标级联矩形的分组函数groupRectangles。


接下来，我尝试使用CascadeClassifier这个级联分类器类检测视频流中的目标（haar支持的目标有人脸、人眼、嘴、鼻、身体。这里尝试比较成熟的人脸和眼镜）。用load函数加载XML分类器文件（目前提供的分类器包括Haar分类器和LBP分类器（LBP分类器数据较少））具体步骤如下：


这里再补充一点：后来我又进行了一些实验，对正面人脸分类器进行了实验，总共有4个，alt、alt2、alt_tree、default。对比下来发现alt和alt2的效果比较好，alt_tree耗时较长，default是一个轻量级的，经常出现误检测。所以还是推荐大家使用haarcascade_frontalface_atl.xml和haarcascade_frontalface_atl2.xml。

跟踪用的CamShift算法
详细参见本博文：http://blog.csdn.net/wobuaishangdiao/article/details/7660668


简介
CamShift算法，即"Continuously Apative Mean-Shift"算法，是一种运动跟踪算法。它主要通过视频图像中运动物体的颜色信息来达到跟踪的目的。我把这个算法分解成三个部分，便于理解：


Back Projection计算。


Mean Shift算法


CamShift算法


1） 、Back Projection计算
计算Back Projection的步骤是这样的：


1~. 计算被跟踪目标的色彩直方图。在各种色彩空间中，只有HSI空间(或与HSI类似的色彩空间)中的H分量可以表示颜色信息。所以在具体的计算过程中，首先将其他的色彩空间的值转化到HSI空间，然后会其中的H分量做1D直方图计算。


2.~ 根据获得的色彩直方图将原始图像转化成色彩概率分布图像，这个过程就被称作"Back Projection"。


在OpenCV中的直方图函数中，包含Back Projection的函数，函数原型是：


   void cvCalcBackProject(IplImage** img, CvArr** backproject, const CvHistogram* hist);


传递给这个函数的参数有三个：


1_. IplImage** img:存放原始图像，输入。


2_. CvArr** backproject:存放Back Projection结果，输出。


3_. CvHistogram* hist:存放直方图，输入






实现：


1.准备一张只包含被跟踪目标的图片，将色彩空间转化到HSI空间，获得其中的H分量


2.计算H分量的直方图，即1D直方图


3.计算Back Projection：


 


2) Mean Shift算法
这里来到了CamShift算法，OpenCV实现的第二部分，这一次重点讨论Mean Shift算法。


在讨论Mean Shift算法之前，首先讨论在2D概率分布图像中，如何计算某个区域的重心(Mass Center)的问题


讨论Mean Shift算法的具体步骤，Mean Shift算法可以分为以下4步：


1~.选择窗的大小和初始位置.


2~.计算此时窗口内的Mass Center.


3~.调整窗口的中心到Mass Center.


4~.重复2和3，直到窗口中心"会聚"，即每次窗口移动的距离小于一定的阈值。


3) CamShift算法
1.原理


在了解了MeanShift算法以后，我们将MeanShift算法扩展到连续图像序列（一般都是指视频图像序列），这样就形成了CamShift算法。CamShift算法的全称是"Continuously Apaptive Mean-SHIFT"，它的基本思想是视频图像的所有帧作MeanShift运算，并将上一帧的结果（即Search Window的中心和大小）作为下一帧MeanShift算法的Search Window的初始值，如此迭代下去，就可以实现对目标的跟踪。整个算法的具体步骤分5步：


Step 1：将整个图像设为搜寻区域。


Step 2：初始话Search Window的大小和位置。


Step 3：计算Search Window内的彩色概率分布，此区域的大小比Search Window要稍微大一点。


Step 4：运行MeanShift。获得Search Window新的位置和大小。


Step 5：在下一帧视频图像中，用Step 3获得的值初始化Search Window的位置和大小。跳转到Step 3继续运行。



二、算法实现过程详解


（1）首先先建立一个images文件夹，在其中放置一些头像的照片。之后我们在程序中用  _finddata_t file;对文件名进行了加载，为后续的识别过程做好前提。同时建立一个矢量的图像存储单元vector<IplImage*> faces;为后来的识别对比做好准备。


（2）建立了一个级联分类器变量对 CascadeClassifier cascade, nestedCascade; 利用进行人脸的检测以及人眼的检测




[cpp] view plaincopy
String cascadeName =  
"haarcascades/haarcascade_frontalface_alt.xml";   //使用的预先训练好的检测器人前脸检测  
String nestedCascadeName =  
"haarcascades/haarcascade_eye_tree_eyeglasses.xml";  //预先训练好的眼睛和眼睛框检测  


（3）进入处理过程
在image还是新的图像时，我们进行一些列的初始化。并且对图像进行直方图的提取，其中hdims表示提取后的所保留的几个阶段，而hranges是所有的值得缩放比例




[cpp] view plaincopy
if( !image )   //如果此时的image 还是新的图时  
       {  
           image = cvCreateImage( cvGetSize(frame), 8, 3 );  
           image->origin = frame->origin;  
           hsv = cvCreateImage( cvGetSize(frame), 8, 3 );  
           hue = cvCreateImage( cvGetSize(frame), 8, 1 );  
           mask = cvCreateImage( cvGetSize(frame), 8, 1 );  
           backproject = cvCreateImage( cvGetSize(frame), 8, 1 );  
           hist = cvCreateHist( 1, &hdims, CV_HIST_ARRAY, &hranges, 1 );   //float hranges_arr[] = {0,180};  float* hranges = hranges_arr;  //int hdims = 16;  
        //构建直方图  
           histimg = cvCreateImage( cvSize(320,200), 8, 3 );   //后序的直方图的显示表示图  
           cvZero( histimg );  
       }  


（4）因为开始的时候track_object定义为0，所以我们首先进入的是else部分。我们利用Haar检测器，进行检测，


[cpp] view plaincopy
CvRect result;   //可将其转化为感兴趣的区域，即人脸区域的方框  
            result = detectAndDraw( frameCopy, cascade, nestedCascade, scale );  //frameCopy IMAGE TO MAT //cascade and nestedCascade are CascadeClassifier // double scale = 1;  
[cpp] view plaincopy
  
[cpp] view plaincopy
detectAndDraw代码的注释已经很详细就不多解释了：  
[cpp] view plaincopy
<pre name="code" class="cpp">CvRect detectAndDraw( Mat& img,  
                   CascadeClassifier& cascade, CascadeClassifier& nestedCascade,  
                   double scale)  
{  
    int i = 0;  
    double t = 0;  //用来记录检测出人脸所用的时间  
    vector<Rect> faces;  //存储检测到的人脸所在矩形区域  
    CvRect result;  
    result.x = 0;  
    result.y = 0;  
    result.width = 0;  
    result.height = 0;  
    const static Scalar colors[] =  { CV_RGB(0,0,255),  
        CV_RGB(0,128,255),  
        CV_RGB(0,255,255),  
        CV_RGB(0,255,0),  
        CV_RGB(255,128,0),  
        CV_RGB(255,255,0),  
        CV_RGB(255,0,0),  
        CV_RGB(255,0,255)} ;   //画圆圈的颜色  
    //define two mat  
    Mat gray, smallImg( cvRound (img.rows/scale), cvRound(img.cols/scale), CV_8UC1 );   //图形矩阵进行缩放  
  
    cvtColor( img, gray, CV_BGR2GRAY );  
    resize( gray, smallImg, smallImg.size(), 0, 0, INTER_LINEAR );  //INTER_LINEAR - 双线性插值 (缺省使用)  
    equalizeHist( smallImg, smallImg );  //直方图均衡化  
  
    //cvShowImage("eg", imgBuf);  
    t = (double)cvGetTickCount();  //欲测量的算法耗时  
    cascade.detectMultiScale( smallImg, faces,  //faces 得到被检测物体的矩形框向量组  
        1.1, 2, 0               //为每一个图像尺度中的尺度参数，默认值为1.1   //为每一个级联矩形应该保留的邻近个数  
        |CV_HAAR_SCALE_IMAGE    //转换后的区域寻找人脸  
        ,  
        Size(30, 30) );   //.minSize和maxSize用来限制得到的目标区域的范围  
    for( vector<Rect>::const_iterator r = faces.begin(); r != faces.end(); r++, i++ )  
    {  
        //每一个检测到的区域进行检测  
        Mat smallImgROI;    //另一个小的感兴趣的位置  
        vector<Rect> nestedObjects;  
        Point center;   //中心点  
        Scalar color = colors[i%8];  
        int radius;  
        center.x = cvRound((r->x + r->width*0.5)*scale);  //    double scale = 1;  未进行变换  
        center.y = cvRound((r->y + r->height*0.5)*scale);   //分别检测到的中心处的坐标  
        radius = cvRound((r->width + r->height)*0.25*scale);    //圆的半径  
        result.x = center.x-radius;  //其实就是我们要的那个中心为center，半径为radius的框  
        result.y = center.y-radius;  
        result.width = 2*radius;  
        result.height = 2*radius;  
        //ellipse( img, center, Size((int)(faces[i].width*0.5), (int)(faces[i].height*0.5)), 0, 0, 360, cvScalar(255, 0, 255), 2, 8, 0);  
        return result;  
  
    }    
    return result;  
}  
</pre>对检测的结果即为人脸图，利用一下进行了提取  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">selection.x = MAX(result.x,0);  
                selection.y = MAX(result.y,0);                                     
                selection.width = MIN(result.width,image->width-result.x);     //即从提取的图片中的左上角开始，一直到整幅图像的右下角  
                selection.height = MIN(result.height,image->height-result.y);  
  
                cvSetImageROI(image,selection);    //在图像选定感兴趣的区域  
                face = cvCreateImage( cvGetSize(image), 8, 3 );  
                face->origin = image->origin;  
                cvCopy(image,face);   //现在的face即为那个左上到全部右下  
                cvResetImageROI(image);   </pre><br>  
<img src="https://img-my.csdn.net/uploads/201206/21/1340283129_9503.jpg" alt=""><br>  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; ">并且我们对选定的范围进行了减小，这样为后序的人眼检测提供方便：</pre><pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">int w = selection.width/3;  
                int h = selection.height/3;  
                selection.x = selection.x+selection.width/2-w/2;  
                selection.y = selection.y+selection.height/2-h/2;  
                selection.width = w;    //即为此处的做顶点向前和向上推进了1/3  
                selection.height = h;  
  
                cascade.load( nestedCascadeName );  //寻找人眼  
                result = detectAndDraw( frameCopy, cascade, nestedCascade, scale );  
                cascade.load( cascadeName );  
                //此时result为人眼的区域  
                if(!(result.x==0 && result.y==0 && result.width==0 && result.height==0))  
                {  
                    selection.x = MAX(result.x,0);  
                    selection.y = MAX(result.y,0);  
                    selection.width = MIN(result.width,image->width-result.x);  
                    selection.height = MIN(result.height,image->height-result.y);  
                }</pre>检测完后，重要的连锁：  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"><span>               </span>lose = 0;  
                track_object=-1;</pre>（5）检测完后，我们通过对比我们图像库中的图像进行了识别的过程，我们通过的方法利用相关系数进行了识别的过程。将提取的感兴趣的图像和模板图像进行了直方图均衡化，之后我们对两幅图计算了相关系数的值<br>  
<pre name="code" class="cpp">IplImage* face_resize = cvCreateImage( cvGetSize(faces.at(i)), 8, 3 );  
                        cvResize(face,face_resize);   //视频读取的和文件读取的后者为文件读取的  
                        IplImage* src = cvCreateImage( cvGetSize(face_resize),face_resize->depth,1);  
                        //cvShowImage( "eg", face );   //face为人脸的标出，通过HAAR检测器，检测出，而face_at(i)为读取的文件中的图  
                        IplImage* temp = cvCreateImage( cvGetSize(faces.at(i)),faces.at(i)->depth,1);  
                        cvCvtColor(face_resize,src,CV_RGB2GRAY);  
                        //cvShowImage( "eg", backproject );   
                        cvCvtColor(faces.at(i),temp,CV_RGB2GRAY);  
  
                        cvEqualizeHist(src,src);  
                        cvEqualizeHist(temp,temp);   //直方图均衡化  
                        //cvShowImage( "eg", src );   
  
                        double p1=0,p2=0;  
                        int pn=0;  
                        for(int y=0;y<src->height;y++)  
                        {  
                            uchar* ptr1=(uchar*)(src->imageData+y*src->widthStep);  
                            uchar* ptr2=(uchar*)(temp->imageData+y*temp->widthStep);  
                            for(int x=0;x<src->width;x++)  
                            {  
                                pn++;  
                                p1+=double(ptr1[x])/255;       //对齐进行先放缩到0-1，在都进行求和，全部的点  
                                p2+=double(ptr2[x])/255;  
                            }  
                        }  
                        p1/=pn;  
                        p2/=pn;  //全部点的值得平均值  
                          
                        double a=0,b1=0,b2=0;  
                        for(int y=0;y<src->height;y++)  
                        {  
                            uchar* ptr1=(uchar*)(src->imageData+y*src->widthStep);  
                            uchar* ptr2=(uchar*)(temp->imageData+y*temp->widthStep);  
                            for(int x=0;x<src->width;x++)  
                            {  
                                double n1=double(ptr1[x])/255-p1;    //缩放后的值与平均值相比的大小  
                                double n2=double(ptr2[x])/255-p2;  
                                a+=n1*n2;      
                                b1+=n1*n1;    
                                b2+=n2*n2;       
                            }  
                        }  
                        double rec=a/pow(double(b1*b2),double(0.5));   //计算相关系数 //计算(b1*b2)^(1/2)   
</pre>然后找出相关系数最高的那个，并且最高的大于0.4的话face_no = val_no;是第几幅图最大的匹配，如果小于0.4 则认为是陌生人输出“Stranger”，否则输出图像库的名称。  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">if(max_val > 0.4)        //如果自相关性没有达到那么高  
                        face_no = val_no;  
                    if(face_no != face_pre)   //  
                    {  
                        if(face_no == -1)     //如果自相关性不高  
                            opt = "Stranger";  
                        else  
                            opt = names.at(face_no).substr(7,names.at(face_no).size()-11);  
                        cout<<opt<<endl;  
                    }</pre>（6）人脸跟踪，应为这是track_object = -1，（我们不进行操作的情况下）在跟踪过程中，我们进行对提取的一帧图进行了直方图的提取，并且进行了归一化的处理，应为此时已经找到了感兴趣的区域，在此时我们对感兴趣的区域进行了跟踪。  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp"><span>       </span>cvSetImageROI( hue, selection );   //在hsv单通道的图像中找到自己所感兴趣的区域  
                cvSetImageROI( mask, selection );   </pre>我们对每一个直方图柱进行了颜色分配和矩形表示  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">  for( i = 0; i < hdims; i++ )  //共有hdims个直方图的图驻  
                {  
                    //cout <<  cvGetReal1D(hist->bins,i) << endl;  
                  
                    int val = cvRound( cvGetReal1D(hist->bins,i)*histimg->height/255 );  
                    CvScalar color = hsv2rgb(i*180.f/hdims);   //convertto RGB to display  the hist  
                    cvRectangle( histimg, cvPoint(i*bin_w,histimg->height),  
                                 cvPoint((i+1)*bin_w,histimg->height - val),  
                                 color, -1, 8, 0 );  //plot a rectangle(矩形)   //将统计的直方图柱画为矩形小块  
                }</pre>进入了cvCamShift，首先进行了反向投影，并且与将反向投影的图与我们开始HAAR检测出的感兴趣的selection进行了与运算，之后进行了跟踪，并且用椭圆进行了跟踪。  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "><pre name="code" class="cpp">  cvCalcBackProject( &hue, backproject, hist );    //方向投影，将图像投影到16个柱的统计数目的图  
            //cvShowImage( "eg", backproject );  
            cvAnd( backproject, mask, backproject, 0 );  //进行位与运算  
            //cvShowImage( "eg", backproject );   
            cvCamShift( backproject, track_window,    //backproject 代表可能位置的密度   //在框中寻找中心  
                        cvTermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ), // use mean-shift to track the project  
                        &track_comp, &track_box );   //track_box由上一图的box包含的二阶矩计算出来的尺寸  ??为什么现在只是检测出了头  
            track_window = track_comp.rect;    //现在找到的感兴趣的区域作为下一幅图的窗口  
  
            if( backproject_mode )     
                cvCvtColor( backproject, image, CV_GRAY2BGR );  //将方向投影图转化回RGB  
            if( !image->origin )    //  
                track_box.angle = -track_box.angle;  //跟踪盒子和那个视频的矩的一个反向偏差  
            cvEllipseBox( image, track_box, CV_RGB(255,0,0), 3, CV_AA, 0 ); //draw 椭圆 // cvCamShift and cvFitEllipse do  
            lose++;  
            if(lose>=50)  
                track_object=0;   //50个一个循环  
</pre>后三个参数可以看出，我们是跟踪50帧的图像，然后在进行一次检测！<br>  
<img src="https://img-my.csdn.net/uploads/201206/22/1340362362_7630.jpg" alt=""><br>  
<pre></pre>  
<pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "></pre><pre name="code" class="cpp" style="background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-size: 14px; line-height: 26px; text-align: left; "></pre>  
<p></p>  
<p><span style="font-size:14px; line-height:26px; color:rgb(51,51,51); font-family:Arial"></span></p>  
<p><span style="font-family:Arial; color:#333333"><span style="font-size:14px; line-height:26px"></span></span></p>  
<p></p>  
<span style="font-family:'Microsoft YaHei'; font-size:16px"></span>  
<p></p>  
<span style="font-family:'Microsoft YaHei'; font-size:16px"></span>  
<p></p>  
<p><span style="font-family:'Microsoft YaHei'; font-size:16px"><span style="color:rgb(51,51,51); font-family:Arial; font-size:14px; line-height:26px"></span></span></p>  
<p></p>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
<pre></pre>  
  
</pre></pre></pre></pre></pre></pre></pre>