Python使用背景差分器实现运动物体检测

前言

目前，许多运动检测技术都是基于简单的背景差分概念的，即假设摄像头（视频）的曝光和场景中的光照条件是稳定的，当摄像头捕捉到新的帧时，我们可以从参考图像中减去该帧，并取这个差的绝对值，以获得帧中每个像素位置的运动测量值。如果帧的任何区域与参考图像有很大的不同，我们就认为给定区域中是一个运动物体。

本文主要简单介绍基本背景差分器，详细介绍MOG背景差分器，KNN背景差分器。

一、基本背景差分器

首先，基本背景差分器可以很好地实现运动物体的检测，代码实现参考此链接

其特点是：此脚本不会动态更新背景图像，即当一个运动的物体静止后，此脚本仍然会标记此物体，除非此物体消失在窗口中，甚至当摄像头运动或者光线变化时，此脚本会直接标记整个窗口直到程序结束。

如果我们希望脚本能够动态的更新背景模型，即当运动物体静止后，静止物体会被纳入背景，标记会逐渐消失，这时，我们就可以采用更灵活、更智能的背景差分器（如MOG背景差分器、KNN背景差分器）。

二、MOG背景差分器

OpenCV提供了一个名为 cv2.BackgroundSubtractor 的类，它有实现各种背景差分算法的子类。

对于MOG背景差分器，OpenCV有两种实现，分别命名为：cv2.BackgroundSubtractorMOG 和 cv2.BackgroundSubtractorMOG2，后者是最新改进的实现，增加了对阴影检测的支持，我们将使用它。

流程

1.导入OpenCV，初始化MOG背景差分器，定义erode（腐蚀）、dilate（膨胀）运算的核大小

import cv2

bg_subtractor = cv2.createBackgroundSubtractorMOG2(detectShadows=True)

erode_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
dilate_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7))

初始化函数中接收一个参数detectShadows，将其设置为True，就会标记出阴影区域，而不会标记为前景的一部分。

使用腐蚀与膨胀的形态学操作是为了抑制一些细微的振动频率。

2.捕捉摄像头帧，并使用MOG差分器获得背景掩膜

cap = cv2.VideoCapture(0)
success, frame = cap.read()
while success:

fg_mask = bg_subtractor.apply(frame)

当我们把每一帧传递给背景差分器的 apply 方法时，差分器就会更新它的内部背景模型，然后返回一个掩膜。

其中，前景部分的掩膜是白色（255），阴影部分的掩膜是灰色（127），背景部分的掩膜是黑色（0）

3.然后对掩膜应用阈值来获得纯黑白图像，并通过形态学运算对阈值化图像进行平滑处理。

_, thresh = cv2.threshold(fg_mask, 244, 255, cv2.THRESH_BINARY)
   cv2.erode(thresh, erode_kernel, thresh, iterations=2)
   cv2.dilate(thresh, dilate_kernel, thresh, iterations=2)

（本示例中，我们开启了阴影检测，但我们仍然想把阴影认为是背景，所以对掩膜应用一个接近白色（244）的阈值）

4.现在，如果我们直接查看阈值化后的图像，会发现运动物体呈现白色斑点，我们想找到白色斑点的轮廓，并在其周围绘制轮廓。其中，我们将应用一个基于轮廓面积的阈值，如果轮廓太小，就认为它不是真正的运动物体（或者不使用此阈值），检测轮廓与绘制边框的代码：

contours, hier = cv2.findContours(thresh, cv2.RETR_EXTERNAL,
                                         cv2.CHAIN_APPROX_SIMPLE)

for c in contours:
       if cv2.contourArea(c) > 1000:
           x, y, w, h = cv2.boundingRect(c)
           cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)

5.显示掩膜图像/阈值化图像/检测结果图像，继续读取帧，直到按下ESC退出。

cv2.imshow('mog', fg_mask)
   cv2.imshow('thresh', thresh)
   cv2.imshow('detection', frame)

k = cv2.waitKey(30)
   if k == 27:  # Escape
       break

success, frame = cap.read()

代码编写

import cv2

OPENCV_MAJOR_VERSION = int(cv2.__version__.split('.')[0])

bg_subtractor = cv2.createBackgroundSubtractorMOG2(detectShadows=True)

erode_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
dilate_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 7))

cap = cv2.VideoCapture(0)
success, frame = cap.read()
while success:

fg_mask = bg_subtractor.apply(frame)

_, thresh = cv2.threshold(fg_mask, 244, 255, cv2.THRESH_BINARY)
   cv2.erode(thresh, erode_kernel, thresh, iterations=2)
   cv2.dilate(thresh, dilate_kernel, thresh, iterations=2)

if OPENCV_MAJOR_VERSION >= 4:
       # OpenCV 4 or a later version is being used.
       contours, hier = cv2.findContours(thresh, cv2.RETR_EXTERNAL,
                                         cv2.CHAIN_APPROX_SIMPLE)
   else:
       # OpenCV 3 or an earlier version is being used.
       # cv2.findContours has an extra return value.
       # The extra return value is the thresholded image, which is
       # unchanged, so we can ignore it.
       _, contours, hier = cv2.findContours(thresh, cv2.RETR_EXTERNAL,
                                            cv2.CHAIN_APPROX_SIMPLE)

for c in contours:
       if cv2.contourArea(c) > 1000:
           x, y, w, h = cv2.boundingRect(c)
           cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)

cv2.imshow('mog', fg_mask)
   cv2.imshow('thresh', thresh)
   cv2.imshow('detection', frame)

k = cv2.waitKey(30)
   if k == 27:  # Escape
       break

success, frame = cap.read()

cap.release()
cv2.destroyAllWindows()

注意：当我们启用阴影检测时，我们可以通过一个阈值来移除掩膜上的阴影和反射部分，从而使得检测能够准确地框选到实际运动物体（本示例）。如果我们禁用阴影检测，那么倒影或者反射部分可能都会被框选，从而影响检测真正运动物体的准确性。

三、KNN背景差分器

通过修改MOG背景差分脚本的很一小部分代码，即可使用不同的背景差分算法以及不同的形态学参数。

1.用cv2.createBackgroundSubtractorKNN替换cv2.createBackgroundSubtractorMOG2，就可以使用基于KNN聚类（而不是MOG聚类）的背景差分器：

bg_subtractor = cv2.createBackgroundSubtractorKNN(detectShadows=True)

（注意：KNN背景差分器仍然支持detectShadows参数与apply方法）

修改完成之后，就可以使用KNN背景差分器了，可见修改量非常少。

2.当然，此处我们可以使用稍微好点的适应于水平细长物体的形态学核（本例中检测的是运动的汽车，视频地址（GitHub,可下载）：traffic.flv），并使用此视频作为输入

erode_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (7, 5))
dilate_kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (17, 11))

cap = cv2.VideoCapture('E:/traffic.flv')

3.最后一个小细节，我们将掩膜窗口标题从“mog”更改为“knn”

cv2.imshow('knn', fg_mask)

来源：https://blog.csdn.net/qq_45832961/article/details/122791351