OpenCV+Python3.5 简易手势识别的实现
作者:*_Sasuke? 发布时间:2022-06-02 18:38:26
检测剪刀石头布三种手势,通过摄像头输入,方法如下:
选用合适颜色空间及阈值提取皮肤部分
使用滤波腐蚀膨胀等方法去噪
边缘检测
寻用合适方法分类
OpenCV用摄像头捕获视频
采用方法:调用OpenCV——cv2.VideoCapture()
def video_capture():
cap = cv2.VideoCapture(0)
while True:
# capture frame-by-frame
ret, frame = cap.read()
# our operation on the frame come here
# gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) 可选择灰度化
# display the resulting frame
cv2.imshow('frame', frame)
if cv2.waitKey(1) & 0xFF == ord('q'): # 按q键退出
break
# when everything done , release the capture
cap.release()
cv2.destroyAllWindows()
效果如下
肤色识别——椭圆肤色检测模型
参考下述博文
https://www.jb51.net/article/202594.htm
代码如下
def ellipse_detect(img):
# 椭圆肤色检测模型
skinCrCbHist = np.zeros((256, 256), dtype=np.uint8)
cv2.ellipse(skinCrCbHist, (113, 155), (23, 15), 43, 0, 360, (255, 255, 255), -1)
YCRCB = cv2.cvtColor(img, cv2.COLOR_BGR2YCR_CB)
(y, cr, cb) = cv2.split(YCRCB)
skin = np.zeros(cr.shape, dtype=np.uint8)
(x, y) = cr.shape
for i in range(0, x):
for j in range(0, y):
CR = YCRCB[i, j, 1]
CB = YCRCB[i, j, 2]
if skinCrCbHist[CR, CB] > 0:
skin[i, j] = 255
dst = cv2.bitwise_and(img, img, mask=skin)
return dst
效果如下,可见与肤色相近的物体全被提取出来,包括桌子。。。
识别时需寻找一无干扰环境
去噪——滤波、腐蚀和膨胀
参考下述博文
https://www.jb51.net/article/202599.htm
采用方法:高斯滤波 cv2.GaussianBlur() + 膨胀 cv2.dilate(),代码如下
# 膨胀
def dilate_demo(image):
# 灰度化
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 二值化
ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
# 定义结构元素的形状和大小
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
# 膨胀操作
dst = cv2.dilate(binary, kernel)
return dst
# 腐蚀
def erode_demo(image):
# 灰度化
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 二值化
ret, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
# 定义结构元素的形状和大小
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 15))
# 腐蚀操作
dst = cv2.erode(binary, kernel)
return dst
# 滤波
def img_blur(image):
# 腐蚀操作
# img_erode = erode_demo(image)
# 膨胀操作
img_dilate = dilate_demo(image)
# 均值滤波
# blur = cv2.blur(image, (5, 5))
# 高斯滤波
blur = cv2.GaussianBlur(img_dilate, (3, 3), 0)
return blur
Canny边缘检测
参考OpenCV中文教程
https://www.kancloud.cn/aollo/aolloopencv/271603
代码如下
# Canny边缘检测v
def canny_detect(image):
edges = cv2.Canny(image, 50, 200)
return edges
识别——轮廓匹配
Tensorflow框架实在太难搭,搭了半天没搭出来,还一堆错误。。。所以采用轮廓匹配 cv2.matchShapes() ,方案如下:
划分出了一个手势识别区域,可避免周围环境的干扰,也可简化图像处理过程
寻找轮廓时采用寻找矩形框架 cv2.boundingRect()的方法找到最大轮廓,即手势的轮廓
将找到的轮廓直接与标准图片进行匹配,简化识别过程
但在匹配时发现“剪刀”的手势常与“石头”、“布”的手势匹配到一起。。。所以另辟蹊径,在匹配时加上了对于矩形框架面积的判断,一般来说有如下规律,石头<剪刀<布,代码如下
# 轮廓匹配
value = [0, 0, 0]
value[0] = cv2.matchShapes(img_contour, img1, 1, 0.0)
value[1] = cv2.matchShapes(img_contour, img2, 1, 0.0)
value[2] = cv2.matchShapes(img_contour, img3, 1, 0.0)
min_index = np.argmin(value)
if min_index == 0: # 剪刀
print(text[int(min_index)], value)
elif min_index == 1 and w*h < 25000: # 石头
print(text[int(min_index)], value)
elif min_index == 1 and w*h >= 25000: # 剪刀
print(text[0], value)
elif min_index == 2 and w * h > 30000: # 布
print(text[int(min_index)], value)
elif min_index == 2 and w * h <= 30000: # 剪刀
print(text[0], value)
程序会根据匹配值和面积大小来决定识别结果,例如,下述结果,1.179515828609219, 0.9604643714904955, 0.9896353720020925分别对应剪刀、石头、布的匹配值,越小说明越吻合;结合最终识别情况来看,在三种手势中,石头的识别成功率最高,约98%;布其次,约88%;剪刀最低,约80%,而且结果易受环境亮度影响,环境过暗或过亮,有时候手势轮廓都出不来。。。看来仍有待改进,还是得用机器学习的方法
石头 [1.179515828609219, 0.9604643714904955, 0.9896353720020925]
程序效果如下,黄色矩形框为识别区域,gesture窗口为用于轮廓匹配的手势图
来源:https://blog.csdn.net/lzhlegen/article/details/111403242
猜你喜欢
- 我们已经在Python运算中看到Python最基本的数学运算功能。此外,math包补充了更多的函数。当然,如果想要更加高级的数学功能,可以考
- 函数较简单,看下面的例子: s = 'hEllo pYthon' print s.upper() print s.lower
- Pygame精灵和碰撞检测今天来看看python最出名的游戏库pygame。学习两个名词:精灵和碰撞检测。精灵英文字母是Sprite。Spr
- 引言 在编写接口自动化测试脚本时,有时我们需要在代码中定
- 之前遇到技术问题总能在技术博客上得到启发,十分感谢各位的无私分享。而自己却很少发文,固然是水平有限,但也限制了知识积累和总结。今后多总结分享
- 很多时候关心的是优化SELECT 查询,因为它们是最常用的查询,而且确定怎样优化它们并不总是直截了当。相对来说,将数据装入数据库是直截了当的
- sympy版本:1.2假设求解矩阵方程AX=A+2X其中求解之前对矩阵方程化简为(A−2E)X=A令B=(A−2E)使用qtconsole输
- 知识点简单的装饰器带有参数的装饰器带有自定义参数的装饰器类装饰器装饰器嵌套@functools.wrap装饰器使用基础使用简单的装饰器def
- 以前在介绍SQL2k的时候已经提到了SQL2k对XML的支持,使用for XML语句就可以很容易的把执行的结果转化为一个XML,这样可以在很
- 记录了Windows安装python3.7的详细过程,供大家参考,具体内容如下1. 在python的官网下载python对应版本:官网地址6
- 在web运行中很重要的一个功能就是加载静态文件,在django中可能已经给我们设置好了,我们只要直接把模板文件放在templates就好了,
- 一般来说,使用线程有两种模式, 一种是创建线程要执行的函数, 把这个函数传递进Thread对象里,让它来执行. 另一种是直接从Thread继
- 本文实例讲述了php实现mysql备份恢复分卷处理的方法。分享给大家供大家参考。具体分析如下:分卷处理就是把握们要处理的数据分成一个个小文件
- 在运行复杂的Python程序时,执行时间会很长,这时也许想提高程序的执行效率。但该怎么做呢?首先,要有个工具能够检测代码中的瓶颈,例如,找到
- jQuery由美国人John Resig创建,至今已吸引了来自世界各地的众多javascript高手加入其team,包括来自德国的J&
- PHP信息函数包含的一些函数概念总结如下。PHP信息函数之getenv适用版本:PHP3, PHP4函数功能:取得环境变量数值。函数语法:s
- 上一次,我们谈到在ASP中如何利用“正则表达式”对象来实现各种数据的校验,文中描述了正则表达式对象的强大功能,接下来,我们来看看有关“正则表
- 一、创建一个进程要创建一个进程,最简单的方式是用一个目标函数实例化一个Process对象,然后与threading一样调用start()函数
- 原本运行正常的ASP页面,今天突然提示: 代码如下: Microsoft VBScript 运行时错误 错误 '800a01a8&
- 从python2到python3,这两个版本可以说是从语法、编码等多个方面上都有很大的差别。为了不带入过多的累赘,Python 3.0在设计