目标跟踪（2）——背景分割器

《OpenCV 3计算机视觉——Python语言实现（原书第2版）》
第八章目标跟踪
|______8.2背景分割器：KNN、MOG2、GMG
本节只是对书中代码进行详细解读

Opencv 提供了一个称为BackgroundSubtractor的类，在分割前景和背景时很方便。该类不仅执行背景分割，且可以通过机器学习的方法提高背景检测的效果，并提供将分类结果保存到文件的功能。
背景分割器主要包含 MOG2、KNN、GMG。

8.2背景分割器：KNN、MOG2、GMG

---

1.背景分割器-MOG2

利用背景分割器MOG2分割前景和背景，检测运动物体

#!/usr/bin/env python3
#__*__coding=utf-8__*__
"""
利用背景分割器MOG2分割前景和背景，检测运动物体

"""
import numpy as np
import cv2
cap = cv2.VideoCapture(0)
mog = cv2.createBackgroundSubtractorMOG2()

while(1):
    ret,frame = cap.read()
    fgmask = mog.apply(frame)
    cv2.imshow('frame',fgmask)

    if cv2.waitKey(100) & 0xff == ord("q"):
        break

cap.release()
cv2.destroyAllWindows()

2.背景分割器-KNN

#!/usr/bin/env python3
#__*__coding=utf-8__*__
import cv2
import numpy as np
#常见一个BackgroundSubtractorKNN接口
bs = cv2.createBackgroundSubtractorKNN(detectShadows=True)
camera = cv2.VideoCapture(0)

while True:
    ret,frame = camera.read()
    #apply()函数计算了前景掩码
    fgmask = bs.apply(frame)
    #获得前景掩码（含有白色值以及阴影的灰色值），通过设定阈值将非白色（244~255）的所有像素都设为0，而不是1；
    th = cv2.threshold(fgmask.copy(),244,255,cv2.THRESH_BINARY)[1]
    dilated = cv2.dilate(th,cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(3,3)),iterations =2)
    #findContours函数参数说明cv2.RETR_EXTERNAL只检测外轮廓，cv2.CHAIN_APPROX_SIMPLE只存储水平，垂直，对角直线的起始点。
    image,contours,hier = cv2.findContours(dilated,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
    for c in contours:
        if cv2.contourArea(c) < 1500:
            continue
        (x,y,w,h) = cv2.boundingRect(c)
        cv2.rectangle(frame,(x,y),(x+w,y+h),(0,255,0),2)

    cv2.imshow("mog",fgmask)
    cv2.imshow("thresh",th)
    cv2.imshow("detection",frame)

    if cv2.waitKey(100) & 0xff == ord("q"):
        break

camera.release()
cv2.destroyAllWindows()

8.2.1均值漂移和CAMShift

均值漂移

均值漂移是一种目标跟踪算法，该算法寻找概率函数离散样本的最大密度，并且重新计算在下一帧中的最大密度，该算法给出了目标的移动方向。不但进行计算移动方向和距离，直到与原始中心匹配或者迭代后保持中心不变，即最后收敛。
参考博客Mean Shift 均值漂移聚类

#!/usr/bin/env python3
#__*__coding=utf-8__*__
"""
均值漂移

"""
import cv2
import numpy as np

cap = cv2.VideoCapture(0)
ret,frame = cap.read()
#设置跟踪窗口大小
r,h,c,w = 10,200,10,200
track_window = (c,r,w,h)

roi = frame[r:r+h, c:c+w]
hsv_roi = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
#inRange函数用来设置下限和上限值
mask = cv2.inRange(hsv_roi,np.array((100.,30.,32.)),np.array((180.,120.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,10,1)
while True:
    ret,frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)

        ret,track_window = cv2.meanShift(dst,track_window,term_crit)

        x,y,w,h = track_window
        img2 = cv2.rectangle(frame,(x,y),(x+w,y+h),255,2)
        cv2.imshow('img2',img2)

        if cv2.waitKey(100) & 0xff == ord("q"):
            break

    else:
        break

cap.release()
cv2.destroyAllWindows()

代码中有两个不太容易理解的函数：

calchist函数

calcBackProject函数

CAMShift

CAMShift 会根据具体的旋转来绘制标记矩阵框，这种旋转会被跟踪对象一起旋转。

#!/usr/bin/env python3
#__*__coding=utf-8__*__
"""
均值漂移

"""
import cv2
import numpy as np

cap = cv2.VideoCapture(0)
ret,frame = cap.read()
#设置跟踪窗口大小
r,h,c,w = 10,200,10,200
track_window = (c,r,w,h)

roi = frame[r:r+h, c:c+w]
hsv_roi = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
#inRange函数用来设置下限和上限值
mask = cv2.inRange(hsv_roi,np.array((100.,30.,32.)),np.array((180.,120.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

term_crit = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT,10,1)
while True:
    ret,frame = cap.read()

    if ret == True:
        hsv = cv2.cvtColor(frame,cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)
        ###############均值漂移#########################
        # ret,track_window = cv2.meanShift(dst,track_window,term_crit)
        #
        # x,y,w,h = track_window
        # img2 = cv2.rectangle(frame,(x,y),(x+w,y+h),255,2)

        ##################CAMShift############################
        ret, track_window =cv2.CamShift(dst,track_window,term_crit)
        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv2.polylines(frame,[pts],True,255,2)

        cv2.imshow('img2',img2)

        if cv2.waitKey(100) & 0xff == ord("q"):
            break

    else:
        break

camera.release()
cv2.destroyAllWindows()

与meanshift只有四行程序不同。

对运动物体的跟踪：
如果背景固定,可用帧差法 然后在计算下连通域，将面积小的去掉即可；
如果背景单一,即你要跟踪的物体颜色和背景色有较大区别，可用基于颜色的跟踪，如CAMShift 鲁棒性都是较好的；
如果背景复杂,如背景中有和前景一样的颜色，就需要用到一些具有预测性的算法 如卡尔曼滤波等 可以和 CAMShift 结合；

参考文档：
CAMShift的算法原理

camShift跟踪算法介绍