图像特征提取2—HOG特征

1、HOG特征：

• HOG特征的基本思想 ：其核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。即在一副图像中，局部目标的表象和形状（appearance and shape）能够被梯度或边缘的方向密度分布很好地描述。（本质：梯度的统计信息，而梯度主要存在于边缘的地方）。

• 具体的实现方法是：通过将整幅图像分割成小的连接区域（称为cells），每个cell生成一个方向梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出（所检测目标的目标）描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。

• 提高性能：把这些局部直方图在图像的更大的范围内（我们把它叫区间或block）进行对比度归一化（contrast-normalized），所采用的方法是：先计算各直方图在这个区间（block）中的密度，然后根据这个密度对区间中的各个细胞单元做归一化。通过这个归一化后，能对光照变化和阴影获得更好的效果。

２.HOG特征描述向量的提取与计算步骤
HOG特征提取方法就是将一个image，即检测的目标或者扫描窗口）：

1）灰度化（将图像看做一个x,y,z（灰度）的三维图像）；

2）采用Gamma校正法对输入图像进行颜色空间的标准化（归一化）；目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；

3）计算图像每个像素的梯度（包括大小和方向）；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。

4）将图像划分成小cells（例如6*6像素/cell）；

5）统计每个cell的梯度直方图（不同梯度的个数），即可形成每个cell的descriptor；

6）将每几个cell组成一个block（例如3*3个cell/block），一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。

7）将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image（你要检测的目标）的HOG特征descriptor了。这个就是最终的可供分类使用的特征向量了。

HOG特征提取的流程图如下图所示（图片来源于网络）：

　
3.具体步骤如下：
（1）标准化gamma空间和颜色空间
　　为了减少光照因素的影响，首先需要将整个图像进行规范化（归一化）。在图像的纹理强度中，局部的表层曝光贡献的比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。因为颜色信息作用不大，通常先转化为灰度图；
方法：gamma compression
a） 对每个颜色通道分别，计算平方根，或者
b） 对每个颜色通道分别，求log
Gamma压缩公式： 这里$gamma$可以取0.5.

（2）计算图像梯度
　　计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓，人影和一些纹理信息，还能进一步弱化光照的影响。图像中像素点(x,y)的梯度为：
方法：对每个颜色通道分别计算梯度。梯度算子：水平边缘算子： [-1, 0, 1] ；垂直边缘算子： $[-1, 0, 1]^T$ 。最后选择三个通道中具有最大模值norm的梯度vector作为该像素的gradient vector。
　　　　　　
式中分别表示输入图像(x,y)处像素点的水平梯度，垂直梯度和灰度值。此时的梯度幅值和梯度方向分别为：　
　　　　　　
　　　　　　
（3）为每个细胞单元构建梯度方向直方图
　　第三步的目的是为局部图像区域提供一个编码，同时能够保持对图像中人体对象的姿势和外观的弱敏感性。
方法：求取梯度方向直方图
a）将image window划分为多个区域“cell”；
b）为每个“cell”计算一个1-D的加权梯度方向直方图；
其中，直方图包含9个bin，划分区间：0°-180°或0°-360°。
其中，加权采用三线性插值方法，即将当前像素的梯度方向大小、像素在cell中的x坐标与y坐标这三个值来作为插值权重，而被用来插入的值为像素的梯度幅值。
采用三线性插值的好处在于：避免了梯度方向直方图在cell边界和梯度方向量化的bin边界处的突然变化。
　　我们将图像分成若干个“单元格cell”，例如每个cell为6*6个像素。假设我们采用１6个bin的直方图来统计这6*6个像素的梯度信息。也就是将cell的梯度方向360度分成16个方向块，如图所示：例如：如果这个像素的梯度方向是25-40度，直方图第2个bin的计数就加一，这样，对cell内每个像素用梯度方向在直方图中进行加权投影（映射到固定的角度范围），就可以得到这个cell的梯度方向直方图了，就是该cell对应的16维特征向量（因为有16个bin）。

此时梯度大小就可以作为投影的权值的。例如说：这个像素的梯度方向是20-40度，然后它的梯度大小是2（假设），那么直方图第2个bin的计数就不是加一了，而是加二（假设）。
（4）把细胞单元组合成大的块（block），块内归一化梯度直方图
　　由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。
　　常用方法：把各个细胞单元组合成大的、空间上连通的区间（blocks）。这样，一个block内所有cell的特征向量串联起来便得到该block的HOG特征。这些区间是互有重叠的，这就意味着：每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符（向量）就称之为HOG描述符。
　　　
　　区间有两个主要的几何形状——矩形区间（R-HOG）和环形区间（C-HOG）。R-HOG区间大体上是一些方形的格子，它可以有三个参数来表征：每个区间中细胞单元的数目、每个细胞单元中像素点的数目、每个细胞的直方图通道数目。例如：行人检测的最佳参数设置是：3×3细胞/区间、6×6像素/细胞、9个直方图通道。则一块的特征数为：3*3*9；

(５)生成特征描述向量
即将所有“block”的HOG descriptors组合在一起，形成最终的feature vector，该feature vector就描述了detect window的图像内容。例如:有4*4=16个patch,每个patch提取12维的小HOG,那么最终特征的长度就是:16*12=192维。

4.HOG描述算子的优点：

首先，由于HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性，这两种形变只会出现在更大的空间领域上。其次，在粗的空域抽样、精细的方向抽样以及较强的局部光学归一化等条件下，只要行人大体上能够保持直立的姿势，可以容许行人有一些细微的肢体动作，这些细微的动作可以被忽略而不影响检测效果。因此HOG特征是特别适合于做图像中的人体检测的。
1）orientation histogram
能够有效地描述图像区域的local shape的特征信息
2）采用“cell”方式进行梯度方向量化，使得特征描述算子具有一些平移或旋转不变性
通过改变histogram的bin个数，以及“cell”的size，能够控制捕获图像局部区域特征信息的精度和保持特征具有不变性
3）具有光照不变性
4） blocks重叠
blocks重叠使得归一化是可选的，这样分类器就可以选择最相关的一个。

• HOG有点类似于SIFT特征描述子，两者区别在于：

1）HOG没有选取主方向，也没有旋转梯度方向直方图，因而本身不具有旋转不变性（较大的方向变化），其rotate不变性是通过采用不同旋转方向的训练样本来实现的；

2）HOG本身不具有scale不变性，其scale不变性是通过改变检测图像的size来实现的；

3）HOG是在dense采样的图像块中求取的，在计算得到的HOG特征向量中隐含了该块与检测窗口之间的空间位子关系，而SIFT特征向量是在一些独立并离散。