日萌社
人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)
形态学操作
学习目标
-
理解图像的邻域,连通性
-
了解不同的形态学操作:腐蚀,膨胀,开闭运算,礼帽和黑帽等,及其不同操作之间的关系
1 连通性
在图像中,最小的单位是像素,每个像素周围有8个邻接像素,常见的邻接关系有3种:4邻接、8邻接和D邻接。分别如下图所示:
2 形态学操作
形态学转换是基于图像形状的一些简单操作。它通常在二进制图像上执行。腐蚀和膨胀是两个基本的形态学运算符。然后它的变体形式如开运算,闭运算,礼帽黑帽等。
2.1 腐蚀和膨胀
腐蚀和膨胀是最基本的形态学操作,腐蚀和膨胀都是针对白色部分(高亮部分)而言的。
膨胀就是使图像中高亮部分扩张,效果图拥有比原图更大的高亮区域;腐蚀是原图中的高亮区域被蚕食,效果图拥有比原图更小的高亮区域。膨胀是求局部最大值的操作,腐蚀是求局部最小值的操作。
-
腐蚀
具体操作是:用一个结构元素扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果都为1,则该像素为1,否则为0。如下图所示,结构A被结构B腐蚀后:
腐蚀的作用是消除物体边界点,使目标缩小,可以消除小于结构元素的噪声点。
API:
cv.erode(img,kernel,iterations)
参数:
- img: 要处理的图像
- kernel: 核结构
- iterations: 腐蚀的次数,默认是1
- 膨胀
具体操作是:用一个结构元素扫描图像中的每一个像素,用结构元素中的每一个像素与其覆盖的像素做“与”操作,如果都为0,则该像素为0,否则为1。如下图所示,结构A被结构B腐蚀后:
膨胀的作用是将与物体接触的所有背景点合并到物体中,使目标增大,可添补目标中的孔洞。
API:
cv.dilate(img,kernel,iterations)
参数:
-
img: 要处理的图像
-
kernel: 核结构
- iterations: 腐蚀的次数,默认是1
- 示例
我们使用一个5*5的卷积核实现腐蚀和膨胀的运算:
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img = cv.imread("./image/image3.png")
# 2 创建核结构
kernel = np.ones((5, 5), np.uint8)
# 3 图像腐蚀和膨胀
erosion = cv.erode(img, kernel) # 腐蚀
dilate = cv.dilate(img,kernel) # 膨胀
# 4 图像展示
fig,axes=plt.subplots(nrows=1,ncols=3,figsize=(10,8),dpi=100)
axes[0].imshow(img)
axes[0].set_title("原图")
axes[1].imshow(erosion)
axes[1].set_title("腐蚀后结果")
axes[2].imshow(dilate)
axes[2].set_title("膨胀后结果")
plt.show()
2.2 开闭运算
开运算和闭运算是将腐蚀和膨胀按照一定的次序进行处理。 但这两者并不是可逆的,即先开后闭并不能得到原来的图像。
-
开运算
开运算是先腐蚀后膨胀,其作用是:分离物体,消除小区域。特点:消除噪点,去除小的干扰块,而不影响原来的图像。
2.闭运算
闭运算与开运算相反,是先膨胀后腐蚀,作用是消除/“闭合”物体里面的孔洞,特点:可以填充闭合区域。
- API
- img: 要处理的图像
- op: 处理方式:若进行开运算,则设为cv.MORPH_OPEN,若进行闭运算,则设为cv.MORPH_CLOSE
- Kernel: 核结构
-
cv.morphologyEx(img, op, kernel)
参数:
-
示例
使用10*10的核结构对卷积进行开闭运算的实现。
import numpy as np import cv2 as cv import matplotlib.pyplot as plt # 1 读取图像 img1 = cv.imread("./image/image5.png") img2 = cv.imread("./image/image6.png") # 2 创建核结构 kernel = np.ones((10, 10), np.uint8) # 3 图像的开闭运算 cvOpen = cv.morphologyEx(img1,cv.MORPH_OPEN,kernel) # 开运算 cvClose = cv.morphologyEx(img2,cv.MORPH_CLOSE,kernel)# 闭运算 # 4 图像展示 fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,8)) axes[0,0].imshow(img1) axes[0,0].set_title("原图") axes[0,1].imshow(cvOpen) axes[0,1].set_title("开运算结果") axes[1,0].imshow(img2) axes[1,0].set_title("原图") axes[1,1].imshow(cvClose) axes[1,1].set_title("闭运算结果") plt.show()
2.3 礼帽和黑帽
-
礼帽运算
原图像与“开运算“的结果图之差,如下式计算:
-
因为开运算带来的结果是放大了裂缝或者局部低亮度的区域,因此,从原图中减去开运算后的图,得到的效果图突出了比原图轮廓周围的区域更明亮的区域,且这一操作和选择的核的大小相关。
礼帽运算用来分离比邻近点亮一些的斑块。当一幅图像具有大幅的背景的时候,而微小物品比较有规律的情况下,可以使用顶帽运算进行背景提取。
-
黑帽运算
为”闭运算“的结果图与原图像之差。数学表达式为:
-
黑帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域,且这一操作和选择的核的大小相关。
黑帽运算用来分离比邻近点暗一些的斑块。
-
API
cv.morphologyEx(img, op, kernel)
参数:
-
img: 要处理的图像
-
op: 处理方式:
-
Kernel: 核结构
-
示例
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("./image/image5.png")
img2 = cv.imread("./image/image6.png")
# 2 创建核结构
kernel = np.ones((10, 10), np.uint8)
# 3 图像的礼帽和黑帽运算
cvOpen = cv.morphologyEx(img1,cv.MORPH_TOPHAT,kernel) # 礼帽运算
cvClose = cv.morphologyEx(img2,cv.MORPH_BLACKHAT,kernel)# 黑帽运算
# 4 图像显示
fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,8))
axes[0,0].imshow(img1)
axes[0,0].set_title("原图")
axes[0,1].imshow(cvOpen)
axes[0,1].set_title("礼帽运算结果")
axes[1,0].imshow(img2)
axes[1,0].set_title("原图")
axes[1,1].imshow(cvClose)
axes[1,1].set_title("黑帽运算结果")
plt.show()
总结
-
连通性 邻接关系:4邻接,8邻接和D邻接
连通性:4连通,8连通和m连通
-
形态学操作
-
腐蚀和膨胀:
腐蚀:求局部最大值
膨胀:求局部最小值
-
开闭运算:
开:先腐蚀后膨胀
闭:先膨胀后腐蚀
-
礼帽和黑帽:
礼帽:原图像与开运算之差
黑帽:闭运算与原图像之差
-
In [1]:
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
腐蚀与膨胀
In [2]:
img = cv.imread("./image/letter.png")
In [3]:
plt.imshow(img[:,:,::-1])
Out[3]:
<matplotlib.image.AxesImage at 0x124f64150>
In [4]:
# 创建核结构
kenel = np.ones((5,5),np.uint8)
In [5]:
# 腐蚀
img2 = cv.erode(img,kenel)
In [6]:
plt.imshow(img2[:,:,::-1])
Out[6]:
<matplotlib.image.AxesImage at 0x1251a7d50>
In [7]:
# 膨胀
img1 = cv.dilate(img,kenel)
In [8]:
plt.imshow(img1[:,:,::-1])
Out[8]:
<matplotlib.image.AxesImage at 0x1252d23d0>
开闭运算
In [9]:
open = cv.imread("./image/letteropen.png")
In [10]:
plt.imshow(open[:,:,::-1])
Out[10]:
<matplotlib.image.AxesImage at 0x12546d1d0>
In [11]:
kenel = np.ones((10,10),np.uint8)
In [12]:
cvopen = cv.morphologyEx(open,cv.MORPH_OPEN,kenel)
In [13]:
plt.imshow(cvopen)
Out[13]:
<matplotlib.image.AxesImage at 0x1256044d0>
In [14]:
close = cv.imread("./image/letterclose.png")
In [15]:
plt.imshow(close)
Out[15]:
<matplotlib.image.AxesImage at 0x12587fdd0>
In [16]:
cvclose = cv.morphologyEx(close,cv.MORPH_CLOSE,kenel)
In [17]:
plt.imshow(cvclose)
Out[17]:
<matplotlib.image.AxesImage at 0x125a5dcd0>
黑帽和礼帽
In [18]:
top = cv.morphologyEx(open,cv.MORPH_TOPHAT,kenel)
In [19]:
plt.imshow(top)
Out[19]:
<matplotlib.image.AxesImage at 0x125c8da10>
In [20]:
black = cv.morphologyEx(close,cv.MORPH_BLACKHAT,kenel)
In [21]:
plt.imshow(black)
Out[21]:
<matplotlib.image.AxesImage at 0x125da5710>
In [22]:
black
Out[22]:
array([[[ 0, 0, 1],
[96, 95, 95],
[15, 17, 16],
...,
[ 0, 1, 0],
[ 1, 1, 1],
[ 1, 1, 1]],
[[ 1, 1, 1],
[95, 95, 95],
[16, 17, 16],
...,
[ 1, 0, 1],
[ 1, 1, 1],
[ 1, 1, 0]],
[[ 1, 0, 1],
[95, 96, 95],
[16, 17, 16],
...,
[ 1, 1, 1],
[ 1, 1, 1],
[ 1, 0, 1]],
...,
[[ 0, 1, 1],
[95, 96, 95],
[16, 15, 16],
...,
[ 1, 0, 0],
[ 1, 1, 1],
[ 1, 1, 0]],
[[ 1, 1, 1],
[96, 95, 95],
[16, 16, 16],
...,
[ 0, 1, 1],
[ 1, 1, 1],
[ 0, 1, 1]],
[[ 1, 1, 0],
[96, 96, 95],
[16, 16, 16],
...,
[ 1, 1, 0],
[ 1, 0, 1],
[ 1, 0, 1]]], dtype=uint8)