python多线程方法详解
作者:python_rser 发布时间:2023-10-16 02:46:31
标签:python,多线程
处理多个数据和多文件时,使用for循环的速度非常慢,此时需要用多线程来加速运行进度,常用的模块为multiprocess和joblib,下面对两种包我常用的方法进行说明。
1、模块安装
pip install multiprocessing
pip install joblib
2、以分块计算NDVI为例
首先导入需要的包
import numpy as np
from osgeo import gdal
import time
from multiprocessing import cpu_count
from multiprocessing import Pool
from joblib import Parallel, delayed
定义GdalUtil类,以读取遥感数据
class GdalUtil:
def __init__(self):
pass
@staticmethod
def read_file(raster_file, read_band=None):
"""读取栅格数据"""
# 注册栅格驱动
gdal.AllRegister()
gdal.SetConfigOption('gdal_FILENAME_IS_UTF8', 'YES')
# 打开输入图像
dataset = gdal.Open(raster_file, gdal.GA_ReadOnly)
if dataset == None:
print('打开图像{0} 失败.\n', raster_file)
# 列
raster_width = dataset.RasterXSize
# 行
raster_height = dataset.RasterYSize
# 读取数据
if read_band == None:
data_array = dataset.ReadAsArray(0, 0, raster_width, raster_height)
else:
band = dataset.GetRasterBand(read_band)
data_array = band.ReadAsArray(0, 0, raster_width, raster_height)
return data_array
@staticmethod
def read_block_data(dataset, band_num, cols_read, rows_read, start_col=0, start_row=0):
band = dataset.GetRasterBand(band_num)
res_data = band.ReadAsArray(start_col, start_row, cols_read, rows_read)
return res_data
@staticmethod
def get_raster_band(raster_path):
# 注册栅格驱动
gdal.AllRegister()
gdal.SetConfigOption('gdal_FILENAME_IS_UTF8', 'YES')
# 打开输入图像
dataset = gdal.Open(raster_path, gdal.GA_ReadOnly)
if dataset == None:
print('打开图像{0} 失败.\n', raster_path)
raster_band = dataset.RasterCount
return raster_band
@staticmethod
def get_file_size(raster_path):
"""获取栅格仿射变换参数"""
# 注册栅格驱动
gdal.AllRegister()
gdal.SetConfigOption('gdal_FILENAME_IS_UTF8', 'YES')
# 打开输入图像
dataset = gdal.Open(raster_path, gdal.GA_ReadOnly)
if dataset == None:
print('打开图像{0} 失败.\n', raster_path)
# 列
raster_width = dataset.RasterXSize
# 行
raster_height = dataset.RasterYSize
return raster_width, raster_height
@staticmethod
def get_file_geotransform(raster_path):
"""获取栅格仿射变换参数"""
# 注册栅格驱动
gdal.AllRegister()
gdal.SetConfigOption('gdal_FILENAME_IS_UTF8', 'YES')
# 打开输入图像
dataset = gdal.Open(raster_path, gdal.GA_ReadOnly)
if dataset == None:
print('打开图像{0} 失败.\n', raster_path)
# 获取输入图像仿射变换参数
input_geotransform = dataset.GetGeoTransform()
return input_geotransform
@staticmethod
def get_file_proj(raster_path):
"""获取栅格图像空间参考"""
# 注册栅格驱动
gdal.AllRegister()
gdal.SetConfigOption('gdal_FILENAME_IS_UTF8', 'YES')
# 打开输入图像
dataset = gdal.Open(raster_path, gdal.GA_ReadOnly)
if dataset == None:
print('打开图像{0} 失败.\n', raster_path)
# 获取输入图像空间参考
input_project = dataset.GetProjection()
return input_project
@staticmethod
def write_file(dataset, geotransform, project, output_path, out_format='GTiff', eType=gdal.GDT_Float32):
"""写入栅格"""
if np.ndim(dataset) == 3:
out_band, out_rows, out_cols = dataset.shape
else:
out_band = 1
out_rows, out_cols = dataset.shape
# 创建指定输出格式的驱动
out_driver = gdal.GetDriverByName(out_format)
if out_driver == None:
print('格式%s 不支持Creat()方法.\n', out_format)
return
out_dataset = out_driver.Create(output_path, xsize=out_cols,
ysize=out_rows, bands=out_band,
eType=eType)
# 设置输出图像的仿射参数
out_dataset.SetGeoTransform(geotransform)
# 设置输出图像的投影参数
out_dataset.SetProjection(project)
# 写出数据
if out_band == 1:
out_dataset.GetRasterBand(1).WriteArray(dataset)
else:
for i in range(out_band):
out_dataset.GetRasterBand(i + 1).WriteArray(dataset[i])
del out_dataset
定义计算NDVI的函数
def cal_ndvi(multi):
'''
计算高分NDVI
:param multi:格式为列表,依次包含[遥感文件路径,开始行号,开始列号,待读的行数,待读的列数]
:return: NDVI数组
'''
input_file, start_col, start_row, cols_step, rows_step = multi
dataset = gdal.Open(input_file, gdal.GA_ReadOnly)
nir_data = GdalUtil.read_block_data(dataset, 4, cols_step, rows_step, start_col=start_col, start_row=start_row)
red_data = GdalUtil.read_block_data(dataset, 3, cols_step, rows_step, start_col=start_col, start_row=start_row)
ndvi = (nir_data - red_data) / (nir_data + red_data)
ndvi[(ndvi > 1.5) | (ndvi < -1)] = 0
return ndvi
定义主函数
if __name__ == "__main__":
input_file = r'D:\originalData\GF1\namucuo2021.tif'
output_file = r'D:\originalData\GF1\namucuo2021_ndvi.tif'
method = 'joblib'
# method = 'multiprocessing'
# 获取文件主要信息
raster_cols, raster_rows = GdalUtil.get_file_size(input_file)
geotransform = GdalUtil.get_file_geotransform(input_file)
project = GdalUtil.get_file_proj(input_file)
# 定义分块大小
rows_block_size = 50
cols_block_size = 50
multi = []
for j in range(0, raster_rows, rows_block_size):
for i in range(0, raster_cols, cols_block_size):
if j + rows_block_size < raster_rows:
rows_step = rows_block_size
else:
rows_step = raster_rows - j
# 数据横向步长
if i + cols_block_size < raster_cols:
cols_step = cols_block_size
else:
cols_step = raster_cols - i
temp_multi = [input_file, i, j, cols_step, rows_step]
multi.append(temp_multi)
t1 = time.time()
if method == 'multiprocessing':
# multiprocessing方法
pool = Pool(processes=cpu_count()-1)
# 注意map函数中传入的参数应该是可迭代对象,如list;返回值为list
res = pool.map(cal_ndvi, multi)
pool.close()
pool.join()
else:
# joblib方法
res = Parallel(n_jobs=-1)(delayed(cal_ndvi)(input_list) for input_list in multi)
t2 = time.time()
print("Total time:" + (t2 - t1).__str__())
# 将multiprocessing中的结果提取出来,放回对应的矩阵位置中
out_data = np.zeros([raster_rows, raster_cols], dtype='float')
for result, input_multi in zip(res, multi):
start_col = input_multi[1]
start_row = input_multi[2]
cols_step = input_multi[3]
rows_step = input_multi[4]
out_data[start_row:start_row + rows_step, start_col:start_col + cols_step] = result
GdalUtil.write_file(out_data, geotransform, project, output_file)
双重for循环时,两层for循环都使用multiprocessing时会报错,这时可以外层for循环使用joblib方法,内层for循环改为multiprocessing方法,不会报错
来源:https://blog.csdn.net/u010562884/article/details/122543534
0
投稿
猜你喜欢
- 1、fastcgi ,通过flup模块来支持,在nginx里对应的配置指令是 fastcgi_pass2、http,nginx使用proxy
- IE 浏览器中 CSS Expression 特性的最大的问题:会反复执行,每秒钟可能执行了成百上千次,有严重的性能问题。如何对 CSS E
- mysql数据库没有增量备份的机制,当数据量太大的时候备份是一个很大的问题。还好mysql数据库提供了一种主从备份的机制,其实就是把主数据库
- 框架介绍在之前的.NET中,微软还没有提供过像样的日志框架,目前能用的一些框架比如Log4Net、NLog、CommonLogging使用起
- 介绍两个关键的CSS <style media="print">  
- 在今天的设计中,排版常常被忽视,特别是被网页设计师忽视。这真是件遗憾的事情因为CSS可以做很多事情来控制我们的排版。也就是说,我们被局限于某
- 本文实例讲述了js对象基础用法。分享给大家供大家参考。具体分析如下:js对象在本质上与数组相同,都是存放一组数据。但创建方法有所不同,对象需
- scriptlet的使用jsp页面中分三种scriptlet:第一种:<% %> 可以在里面写java的代码。定义java变量以
- 可用下列函数来产生你需要的东西,将它们发送给用户就可以啦:<%response.write makePassword(16)
- 前言当我们编写任何程序时,都会遇到一些错误,会让我们有挫败感,所以我有一个解决方案给你。 今天在这篇文章中,我们将讨论错误类型error:
- 当你用 ASP 编写服务器端应用程序时,必须依靠 ActiveX
- 1.linux下启动mysql的命令:mysqladmin start/ect/init.d/mysql start (前面为mysql的安
- MySQL由于它本身的小巧和操作的高效, 在数据库应用中越来越多的被采用.我在开发一个P2P应用的时候曾经使用MySQL来保存P2P节点,由
- © 版权符号显示不清楚,就是那个圈C,在某些网站上就是显示太小,看不清楚。一开始还以为是字体大小的原因,调大以后,还是一样
- 前面的文章,主要讲到如何使用无序列表ul元素来实现复杂柱状图,但是在Web标准中,除了注重表现外,更加注重语意,所谓的语意就是样式和内容的相
- 本文实例讲述了python计算方程式根的方法。分享给大家供大家参考。具体实现方法如下:''' roots = pol
- 我们日常用CSS布局的时候,关于图片背景,大部分的人都是一个背景一张图片的,怎么说呢?这是很标准的方法,但是这种普通制作方式下要保存大量图片
- type指示type要使用的验证器。可识别的类型值为:string:类型必须为string。type 默认是 string// 校验stri
- 从4年之前什么都不知道,到现在对代码的一网情深,感谢无忧的兄弟姐妹的帮助,感谢无忧给我们提供了这么好的交流平台。现将最近几天捣鼓的asp封装
- 互联网的真正算得上成功的产品屈指可数,每年都有成千上万个新网站出现,同时也有成千上万的网站死去,而那些算得上成功的产品,无不是从这些尸骨堆里