Opencv2.4.9源码分析——MSER

最大稳定极值区域（MSER-Maximally Stable Extremal Regions）可以用于图像的斑点区域检测。该算法最早是由Matas等人于2002年提出，它是基于分水岭的概念。

MSER的基本原理是对一幅灰度图像（灰度值为0～255）取阈值进行二值化处理，阈值从0到255依次递增。阈值的递增类似于分水岭算法中的水面的上升，随着水面的上升，有一些较矮的丘陵会被淹没，如果从天空往下看，则大地分为陆地和水域两个部分，这类似于二值图像。在得到的所有二值图像中，图像中的某些连通区域变化很小，甚至没有变化，则该区域就被称为最大稳定极值区域。这类似于当水面持续上升的时候，有些被水淹没的地方的面积没有变化。它的数学定义为：

q(i)=|Q_i+△-Q_i-△|/|Q_i|            （1）

其中，Q_i表示阈值为i时的某一连通区域，△为灰度阈值的微小变化量，q(i)为阈值是i时的区域Q_i的变化率。当q(i)为局部极小值时，则Q_i为最大稳定极值区域。

需要说明的是，上述做法只能检测出灰度图像的黑色区域，不能检测出白色区域，因此还需要对原图进行反转，然后再进行阈值从0～255的二值化处理过程。这两种操作又分别称为MSER+和MSER-。

MSER具有以下特点：

1、对图像灰度具有仿射变换的不变性；

2、稳定性：具有相同阈值范围内所支持的区域才会被选择；

3、无需任何平滑处理就可以实现多尺度检测，即小的和大的结构都可以被检测到。

MSER的原理比较简单，但要更快更好的实现它，是需要一定的算法、数据结构和编程技巧的。David Nister等人于2008年提出了Linear Time Maximally Stable Extremal Regions算法，该算法要比原著提出的算法快，opencv就是利用该算法实现MSER的。但这里要说明一点的是，opencv不是利用公式1计算MSER的，而是利用更易于实现的改进方法：

q(i)=|Q_i-Q_i-△|/|Q_i-△|            （2）

David Nister提出的算法是基于改进的分水岭算法，即当往一个固定的地方注水的时候，只有当该地方的沟壑被水填满以后，水才会向其四周溢出，随着注水量的不断增加，各个沟壑也会逐渐被水淹没，但各个沟壑的水面不是同时上升的，它是根据水漫过地方的先后顺序，一个沟壑一个沟壑地填满水，只有当相邻两个沟壑被水连通在一起以后，水面对于这两个沟壑来说才是同时上升的。该算法的具体步骤如下：

1、初始化栈和堆，栈用于存储组块（组块就是区域，就相当于水面，水漫过的地方就会出现水面，水面的高度就是图像的灰度值，因此用灰度值来表示组块的值），堆用于存储组块的边界像素，相当于水域的岸边，岸边要高于水面的，因此边界像素的灰度值一定不小于它所包围的区域（即组块）的灰度值。首先向栈内放入一个虚假的组块，当该组块被弹出时意味着程序的结束；

2、把图像中的任意一个像素（一般选取图像的左上角像素）作为源像素，标注该像素为已访问过，并且把该像素的灰度值作为当前值。这一步相当于往源像素这一地点注水；

3、向栈内放入一个空组块，该组块的值是当前值；

4、按照顺序搜索当前值的4-领域内剩余的边缘，对于每一个邻域，检查它是否已经被访问过，如果没有，则标注它为已访问过并检索它的灰度值，如果灰度值不小于当前值，则把它放入用于存放边界像素的堆中。另一方面，如果领域灰度值小于当前值，则把当前值放入堆中，而把领域值作为当前值，并回到步骤3；

5、累计栈顶组块的像素个数，即计算区域面积，这是通过循环累计得到的，这一步相当于水面的饱和；

6、弹出堆中的边界像素。如果堆是空的，则程序结束；如果弹出的边界像素的灰度值等于当前值，则回到步骤4；

7、从堆中得到的像素值会大于当前值，因此我们需要处理栈中所有的组块，直到栈中的组块的灰度值大于当前边界像素灰度值为止。然后回到步骤4。

至于如何处理组块，则需要进入处理栈子模块中，传入该子模块的值为步骤7中从堆中提取得到的边界像素灰度值。子模块的具体步骤为：

1）、处理栈顶的组块，即根据公式2计算最大稳定区域，判断其是否为极值区域；

2）、如果边界像素灰度值小于距栈顶第二个组块的灰度值，那么设栈顶组块的灰度值为边界像素灰度值，并退出该子模块。之所以会出现这种情况，是因为在栈顶组块和第二个组块之间还有组块没有被检测处理，因此我们需要改变栈顶组块的灰度值为边界像素灰度值（相当于这两层的组块进行了合并），并回到主程序，再次搜索组块；

3）、弹出栈顶组块，并与目前栈顶组块合并；

4）、如果边界像素灰度值大于栈顶组块的灰度值，则回到步骤1。

在opencv2.4.9中，MSER算法是用类的方法给出的：

class MserFeatureDetector : public FeatureDetector
{
public:
MserFeatureDetector( CvMSERParams params=cvMSERParams() );
MserFeatureDetector( int delta, int minArea, int maxArea,
double maxVariation, double minDiversity,
int maxEvolution, double areaThreshold,
double minMargin, int edgeBlurSize );
virtual void read( const FileNode& fn );
virtual void write( FileStorage& fs ) const;
protected:
...
};

而具体的MSER类为：

class MSER : public CvMSERParams
{
public:
// default constructor
//缺省的构造函数
MSER();
// constructor that initializes all the algorithm parameters
//带有所有算法参数的构造函数
MSER( int _delta, int _min_area, int _max_area,
float _max_variation, float _min_diversity,
int _max_evolution, double _area_threshold,
double _min_margin, int _edge_blur_size );
// runs the extractor on the specified image; returns the MSERs,
// each encoded as a contour (vector<Point>, see findContours)
// the optional mask marks the area where MSERs are searched for
void operator()( const Mat& image, vector<vector<Point> >& msers, const Mat& mask ) const;
};

MSER算法所需要的参数较多：
delta为灰度值的变化量，即公式1和2中的△；
_min_area和_max_area为检测到的组块面积的范围；
_max_variation为最大的变化率，即如果公式1和2中的q(i)小于该值，则被认为是最大稳定极值区域；
_min_diversity为稳定区域的最小变换量。
其他的参数用于对彩色图像的MSER检测，这里不做介绍。
MSER类通过重载( )运算符，得到了最大稳定极值区域的点集msers，其中image为输入图像ÿ