python如何查找图片按钮的坐标位置
作者:孤芳不自赏 发布时间:2023-01-07 21:57:53
标签:python,查找,图片按钮,坐标位置
python查找图片按钮的坐标位置
因为业务需求,了解到一些python自动化的内容,其中有类似于airtest截图点击的东西。
本来是想使用pyautogui来实现获取图片坐标的功能,但是pyautogui对于小尺寸的图片识别不准确,或者说是识别不到,一番查找之下,发现另一个工具,做了封装如下。
1,使用pyaut
x, y=pyautogui.locateCenterOnScreen("img_path")
# 如果查找到值,会返回坐标的元组,找不到返回None。上面的写法会报错
print(x, y)
pyautogui.click(x,y)
# 点击操作
2,使用aircv
def matchImg(imgobj,confidence=0.7):
"""
imgobj:待查找的图片
confidence:最低相似度
"""
# 截取桌面操作,写入内存中,不必每次都保存实体图片
screenshotIm = screenshot(region=None)
desktop = np.array(screenshotIm)
imobj = ac.imread(imgobj)
return ac.find_template(desktop ,imobj,confidence)
if __name__ == "__main__":
imgobj = 'img_path'
print(matchImg(imgsrc,imgobj,confidencevalue))
返回值包含桌面大小,中心点,和待查询图片的四角坐标。否则为None
读取图片区域坐标的方法记录
首先是导入需要使用的库:
import cv2
import time
import win32gui, win32ui, win32con
import os
1、然后是获取需要的图片或者无需获取,已有图片。(可通过直接截取图片)
'''1、窗口截图,直接获取当前最前面的全屏幕截图'''
def window_capture(filename,w=1920,h=1080):
hwnd = 0 # 窗口的编号,0号表示当前活跃窗口
# 根据窗口句柄获取窗口的设备上下文DC(Divice Context)
hwndDC = win32gui.GetWindowDC(hwnd)
# 根据窗口的DC获取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC创建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 创建bigmap准备保存图片
saveBitMap = win32ui.CreateBitmap()
# 为bitmap开辟空间
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC,将截图保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取从左上角(0,0)长宽为(w,h)的图片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
return True
2、将获取的图片路径,传递给识别图片坐标的函数。
g_rectangle = [0, 0, 0, 0] #设置初始值坐标
clicked = False
g_startPoint = [0, 0] #设置初始值获取的坐标
def startRoi(path):
cv2.namedWindow("IMG_Show", 0) # 创建画布
cv2.resizeWindow("IMG_Show", 1920, 1080) # 设置长和宽
cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标
# 按"Esc"退出
print("如果想要退出窗口,点击按钮 ESC,退出窗口...")
while cv2.waitKey(30) != 27: #监听事件
global frame
frame = cv2.imread(path,cv2.IMREAD_COLOR) #读取图片数据
# 画矩形
'''
由(x_min,x_max)组成,为绘制的边框的左上角;
(g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角
(0, 0, 255):指定边框的颜色,由(B,G,R)组成,当为(255,0,0)时为绿色,可以自由设定;
1:线条的粗细值,为正值时代表线条的粗细(以像素为单位)
'''
cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
cv2.imshow("IMG_Show", frame)
# cv2.destroyWindow("IMG_Show")
'''
event:当前发生的鼠标事件类型
x和y:发生鼠标事件时鼠标在图像位置的x,y坐标
flags: cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量
param: 自定义的传递给 setMouseCallback 函数调用的参数
'''
# x和y: 发生鼠标事件时鼠标在图像位置的x,y坐标
def onMouse(event, x, y, flags, param):
global clicked
global g_rectangle
global g_startPoint
if event == cv2.EVENT_MOUSEMOVE: # 滑动
if clicked == True:
#当鼠标点击时,打印一下信息
g_rectangle[0] = g_startPoint[0]
g_rectangle[1] = g_startPoint[1]
#实时获取,对应变化后的x,y坐标
g_rectangle[2] = x
g_rectangle[3] = y
print("坐标:%s" % g_rectangle)
# 左键按下事件
if event == cv2.EVENT_LBUTTONDOWN: # 左键点击
#获取鼠标第一时间点击的坐标
g_startPoint[0] = x
g_startPoint[1] = y
clicked = True
# 左键弹起事件
if event == cv2.EVENT_LBUTTONUP: # 左键放开
print("====================选中框的坐标:===========================")
print("矩形框左上角坐标:")
print(g_rectangle[0], g_rectangle[1])
print("矩形框右下角坐标:")
print(g_rectangle[2], g_rectangle[3])
print("矩形框宽度:")
print(g_rectangle[2]-g_rectangle[0])
print("矩形框高度:")
print(g_rectangle[3]-g_rectangle[1])
clicked = False
3、通过画布显示,在上面可以进行画框 ,自动识别出图片区域的坐标。(如下图)
4、全部代码展示:
'''
读取图片的坐标
'''
import cv2
import time
import win32gui, win32ui, win32con
import os
'''1、窗口截图'''
def window_capture(filename,w=1920,h=1080):
hwnd = 0 # 窗口的编号,0号表示当前活跃窗口
# 根据窗口句柄获取窗口的设备上下文DC(Divice Context)
hwndDC = win32gui.GetWindowDC(hwnd)
# 根据窗口的DC获取mfcDC
mfcDC = win32ui.CreateDCFromHandle(hwndDC)
# mfcDC创建可兼容的DC
saveDC = mfcDC.CreateCompatibleDC()
# 创建bigmap准备保存图片
saveBitMap = win32ui.CreateBitmap()
# 为bitmap开辟空间
saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
# 高度saveDC,将截图保存到saveBitmap中
saveDC.SelectObject(saveBitMap)
# 截取从左上角(0,0)长宽为(w,h)的图片
saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
saveBitMap.SaveBitmapFile(saveDC, filename)
return True
g_rectangle = [0, 0, 0, 0] #设置初始值坐标
clicked = False
g_startPoint = [0, 0]
def startRoi(path):
cv2.namedWindow("IMG_Show", 0) # 创建画布
cv2.resizeWindow("IMG_Show", 1920, 1080) # 设置长和宽
cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标
# 按"Esc"退出
print("如果想要退出窗口,点击按钮 ESC,退出窗口...")
while cv2.waitKey(30) != 27: #监听事件
global frame
frame = cv2.imread(path,cv2.IMREAD_COLOR) #读取图片数据
# 画矩形
'''
由(x_min,x_max)组成,为绘制的边框的左上角;
(g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角
(0, 0, 255):指定边框的颜色,由(B,G,R)组成,当为(255,0,0)时为绿色,可以自由设定;
1:线条的粗细值,为正值时代表线条的粗细(以像素为单位)
'''
cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
cv2.imshow("IMG_Show", frame)
# cv2.destroyWindow("IMG_Show")
'''
event:当前发生的鼠标事件类型
x和y:发生鼠标事件时鼠标在图像位置的x,y坐标
flags: cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量
param: 自定义的传递给 setMouseCallback 函数调用的参数
'''
# x和y: 发生鼠标事件时鼠标在图像位置的x,y坐标
def onMouse(event, x, y, flags, param):
global clicked
global g_rectangle
global g_startPoint
if event == cv2.EVENT_MOUSEMOVE: # 滑动
if clicked == True:
#当鼠标点击时,打印一下信息
g_rectangle[0] = g_startPoint[0]
g_rectangle[1] = g_startPoint[1]
#实时获取,对应变化后的x,y坐标
g_rectangle[2] = x
g_rectangle[3] = y
print("坐标:%s" % g_rectangle)
# 左键按下事件
if event == cv2.EVENT_LBUTTONDOWN: # 左键点击
#获取鼠标第一时间点击的坐标
g_startPoint[0] = x
g_startPoint[1] = y
clicked = True
# 左键弹起事件
if event == cv2.EVENT_LBUTTONUP: # 左键放开
print("====================选中框的坐标:===========================")
print("矩形框左上角坐标:")
print(g_rectangle[0], g_rectangle[1])
print("矩形框右下角坐标:")
print(g_rectangle[2], g_rectangle[3])
print("矩形框宽度:")
print(g_rectangle[2]-g_rectangle[0])
print("矩形框高度:")
print(g_rectangle[3]-g_rectangle[1])
clicked = False
if __name__ == '__main__':
path = r"./save_img/jietu.jpg"
if not os.path.isdir:
os.mkdir(path)
ret = window_capture(filename=path)
time.sleep(0.2)
if ret == True:
startRoi(path)
来源:https://blog.csdn.net/qq_16082527/article/details/124198842
0
投稿
猜你喜欢
- isNaN函数 返回一个 Boolean 值,指明提供的值是否是保留值 NaN (不是数字)。 NaN 即 Not a Number isN
- 随着十几年前“用户体验”这一概念的提出,“用户研究”也逐渐发展成为一个新兴的行业。那么,“用户研究”究竟包括哪些工作内容,在企业中如何开展,
- 有感于中国互联网设计界十几年的变化,从网页设计师变身界面设计师,和近一两年来兴起的转型交互设计师。大多数都是随着一个行业的兴起而前赴后继的投
- 概述从今天开始我们将开启一段自然语言处理 (NLP) 的旅程. 自然语言处理可以让来处理, 理解, 以及运用人类的语言, 实现机器语言和人类
- Notepad++ 是一款非常有特色的编辑器,软件小巧高效,支持27种编程语言,通吃C,C++ ,Java ,C#, XML, HTML,
- 问题描述我有一个用于模型训练的DataFrame如下图所示:其中的country、province、city、county四列其实是位置信息
- 1.在pycham官网下载安装软件https://www.jetbrains.com/pycharm/download/2.我下载的是64位
- 原文链接:Histogram of Oriented Gradients(文中的图片均来自翻译原文)什么是特征描述子特征描述子一张图片或者一
- 事情是这样的520晚上,正跟队友 啪啪啪 组团开黑突然,微信上前女友的头像跳动了起来快一年了,难道是想要复合?发来的竟是一个 "
- 保存代码到文件:logger.pyimport osimport logbookfrom logbook.more import Color
- 代码如下:Function htmll(mulu,htmlmulu,FileName,filefrom,htmla,htmlb,h
- 一、桥接模式桥接模式,希望能够将一个事物的两个维度分离(解耦),使其都可以独立地变化,并通过桥梁连接起来。(类)抽象部分(Abstracti
- 每个进行过较大型的ASP-Web应用程序设计的开发人员大概都有如下的经历:ASP代码与页面HTML混淆难分,业务逻辑与显示方式绞合,使得代码
- Python中print()函数的方法是打印指定的内容。在交互环境中输入“help(print)”指
- Python3标准库操作系统接口os模块提供了不少与操作系统相关联的函数。>>> import os>>>
- counter 是一种特殊的字典,主要方便用来计数,key 是要计数的 item,value 保存的是个数。from collections
- Access 连接字符串 strConnect = “Provider=Microsoft.Jet.OLEDB.4.0;
- 准备下载安装Python3官网下载即可,选择合适的版本:https://www.python.org/downloads/安装一直下一步即可
- 像微博一类的平台上传图片时,平台都会添加一个水印,宣誓着对图片的所有权,我们自己的博客平台也可以给自己的图片添加上水印。还是用 Pillow
- 本文实例为大家分享了python地震数据可视化的具体代码,供大家参考,具体内容如下参考源码:seisplot准备工作:在windows10下