SIFT学习笔记

[原文链接]

CV Lab Session 5里老师给的链接

尺度空间极值检测？Scale-space Extrema Detection

我们不能使用相同的窗口来检测具有不同比例的关键点，但是可以用小角。但是如果要检测更大的角落，需要更大的窗口。为此，使用了scale-space filtering 。在这里，为具有各种sigma值的图像找到了高斯拉普拉斯算子[¹]。LOG用作blob detector，可检测由于的变化而引起的各种大小的sigma。简而言之，sigma充当 scaling parameter。小sigma角的高斯核对于较小的拐角具有较高的价值，而高角的高斯核sigma对于较大的拐角具有较高的拟合性。因此，我们可以找到整个比例尺和空间的局部最大值，这为我们提供了一个（x，y，sigma）值列表，这意味着在 sigma比例尺（x，y）上存在潜在的关键点。

但是这种LOG有点昂贵，因此SIFT算法使用的是高斯差值，它是高斯拉普拉斯算子的近似值。

关键点定位Keypoint Localization

一旦找到潜在的关键点位置，就必须对其进行完善以获取更准确的结果。他们使用了标度空间的泰勒级数展开[²]来获得更精确的极值位置，并且如果该极值处的强度小于阈值，则将其拒绝。在OpenCV中该阈值被称为对比度阈值[³]。

DoG[⁴]对边缘的响应较高，因此也需要删除边缘。为此，使用类似于Harris corner检测器的概念。他们使用2x2的Hessian矩阵（H）计算主曲率。从Harris corner检测器知道，对于自己边缘的一个特征值大于另一个特征值。所以他们在这里使用了一个简单的功能：

如果该比率大于一个阈值[⁵]，则该关键点将被丢弃。

因此，它消除了任何低对比度的关键点和边缘关键点，剩下的就是 strong interest points.

分配方向Orientation Assignment

现在，将方向分配给每个关键点，以实现图像旋转的不变性。根据缩放比例，在关键点位置周围进行邻近处理，并计算该区域中的梯度大小和方向。创建具有36个覆盖360度的面元的方向直方图。 （它是由梯度幅度和高斯加权的圆形窗口和sigma加权的，等于关键点比例的1.5倍。采用直方图中的最高峰，并且也考虑了高于该峰值的80％的任何峰来计算方向。它会创建关键点具有相同的位置和比例，但方向不同，这有助于匹配的稳定性。

关键点描述符Keypoint Descriptor

现在创建了关键点描述符。在关键点周围采用了16x16的邻域。它分为16个4x4大小的子块。对于每个子块，创建8 bin方向直方图。因此共有128个bin值可用。它被表示为形成关键点描述符的向量。除此之外，several measures are taken to achieve robustness against illumination changes, rotation etc.
？？这句话怎么理解达到 robustness against illumination changes？

关键点匹配Keypoint Matching

通过识别两个图像的最近邻居，可以匹配两个图像之间的关键点。但是在某些情况下，第二个最接近的匹配可能会非常接近第一个。它可能是由于噪音或其他一些原因而发生的。在那种情况下，采用最接近距离与第二最接近距离之比。如果大于0.8，则将其拒绝。

this algorithm is patented.
好家伙，这就是老师让我们把colab版本变低的原因吗

!pip uninstall opencv-python -y
# downgrade OpenCV a bit since some none-free features are not avilable
!pip install opencv-contrib-python==3.4.2.17 --force-reinstall

词汇

[¹]高斯拉普拉斯算子 Laplacian of Gaussian (LOG)
[²]泰勒级数展开 Taylor series expansion
[³]对比度阈值 contrastThreshold
高斯差异 Difference of Gaussian (DOG)
[⁵]边缘阈值edgeThreshold