Python多进程协作模拟实现流程
作者:永远的麦田 发布时间:2021-07-01 17:52:38
标签:Python,多进程,协作,模拟
由于python多线程无法发挥多核的作用,因此当计算量很大的时候就需要考虑多进程。
只不过多进程比较麻烦一些,进程中通信向来是一件麻烦事。
python提供了multiprocessing 模块,应该会提供不少便利
假设我们做量化交易需要运行一个算法,针对一只票每运行一次需要30秒,运行完成将结果作为一个因子交给另一个计算模块运行,最后将计算结果统计出来。如果只运行一只票问题不大,大不了等一下就好,同时运行10票的话就很有必然考虑多进程以加快速度。
pro_queue为生产进程的数据队列,生产进程完成生产后将自己相关数据装产pro_queue中
calc_queue为计算进程的数据队列,计算进程先将生产进程的数据通过参数传递的方式获取到,然后进行计算,并将计算结果存入calc_queue中
主进程在最后不断获取计算进程的计算结果,并将其累加,最终获取到一个总的计算结果
生产进程:
def func_a(i, p: queues):
print(F"第{i}个生产进程: 进程号:{os.getpid()},开始...")
time.sleep(random.randint(1, 5))
result = random.randint(50, 100)
print(F"第{i}个生产进程: 完成。生产结果[{result}]。")
p.put((i, os.getpid(), result))
计算进程:
def func_b(i, data, q: queues):
print(F"第{i}个计算进程: 进程号:{os.getpid()}, 数据源{data[0]}:{data[1]}:{data[2]},开始...")
time.sleep(random.randint(1, 3))
result = data[2] * 100
print(F"第{i}个计算进程: 完成。计算结果【{result}】")
q.put(result)
程序一开始先将生产进程启动起来:其中process_num表示同时启动多少个生产进程
for i in range(process_num):
p = Process(target=func_a, args=(i, pro_queue,))
p.start()
然后不停等待生产进程的结果,每等到一个结果就启动一个计算进程
for i in range(process_num):
data = pro_queue.get()
p = Process(target=func_b, args=(i, data, calc_queue))
p.start()
最后就是等待计算进程的计算结果
s = 0
for i in range(process_num):
s += calc_queue.get()
print(F"所有计算完成,总结果:{s}")
补上程序一开始的两个队列的申明:
import multiprocessing
import time
from multiprocessing import Process
from multiprocessing import queues
import random
import os
pro_queue = queues.Queue(ctx=multiprocessing)
calc_queue = queues.Queue(ctx=multiprocessing)
process_num = 5
来源:https://blog.csdn.net/luhouxiang/article/details/124275271


猜你喜欢
- django中,很多时候我们都需要有一个地方来进行更加详细的权限控制,例如说哪些用户可以访问哪些页面,检查登录状态等,这里的话就涉及到了中间
- 前言推导式是从一个或者多个迭代器快速创建序列的一种方法。它可以将循环和条件判断结合,从而避免冗长的代码。推导式是典型的 Python 风格P
- 1.场景描述我们公司是做电商的,运营的工作指标都是按周来定的,所以他们对周特别敏感,希望我们能在日期选择器上显示周数。刚接到这个需求时,心中
- 1、demo第一个代码是多线程的简单使用,编写了线程如何执行函数和类。import threadingimport timeclass Cl
- 本文实例讲述了Python XlsxWriter模块Chart类用法。分享给大家供大家参考,具体如下:一 点睛Chart类是XlsxWrit
- 一、JSON.stringify介绍JSON.stringify() 方法将一个 JavaScript 对象或值转换为
- original article by sp(’Sergio Pereira’) Sergio Pereiralast update: Ma
- 学完了Python脚本接口自动化之后,一直没有对该框架做总结,今天终于试着来做一份总结了。框架结构如下图:来说一下每个目录的作用:Confi
- pygame创建游戏窗口界面,供大家参考,具体内容如下使用pygame前一定要先导入pygame而且肯定要先初始化pygameimport
- 在学习Python的过程中,一直没有找到比较趁手的第三方编辑器,用的最多的还是Python自带的编辑器。由于本人用惯了宇宙第一IDE(Vis
- 由于数据存放在大数据平台的Hive数据仓库中,我需要在Win10系统上利用Python3连接Hive,然后读取数据,进行探索、分析和挖掘工作
- 生成Fiboncci Fn数有Θ(1),Θ(n)甚至指数级的算法,不过有Θ(log n)的吗?告诉你,有。首先,关于Fibonacci数,有
- 今天我们来学习一下 异常语法 中的另一个成员 —> finally ; 通过学习 finally ,可以帮助我们更
- 编程的生活愈发不容易了,工作越来越难找,说多了都是泪还是给大家贡献些代码比较实际。python3 链接数据库需要下载名为pymysql的第三
- 这只是符合比较正常的需求和场景。#一、适用合并两个字典(key不能相同否则会被覆盖),简单,好用。A = {'a': 11,
- 从字符串载入模板我们可以定义模板字符串,然后载入并解析渲染:template.New(tplName string).Parse(tpl s
- 将PHP的执行页面预先转换成HTML,是所谓的PHP静态化方法之一。其他还有模板替换法,opcache等方法。静态化的作用:提高网站的响应速
- 一、Views文件夹 -> Shared文件夹下的 _Layout.cshtml 母版页@RenderBody当创建基于_Layout
- 一、介绍Python:python代码解释器,用于编译.py代码,python可以单独安装,本次环境配置目的用于解决计算机视觉处理,因此选用
- 大多数项目都有生产环境和开发环境,一般情况下应该够了,但是有时候还需要sit,uat,本地等环境,这时候假如要通过注释的方式切换环境就相当麻