网络编程
位置:首页>> 网络编程>> Python编程>> Python多进程协作模拟实现流程

Python多进程协作模拟实现流程

作者:永远的麦田  发布时间:2021-07-01 17:52:38 

标签:Python,多进程,协作,模拟

由于python多线程无法发挥多核的作用,因此当计算量很大的时候就需要考虑多进程。

只不过多进程比较麻烦一些,进程中通信向来是一件麻烦事。

python提供了multiprocessing 模块,应该会提供不少便利

假设我们做量化交易需要运行一个算法,针对一只票每运行一次需要30秒,运行完成将结果作为一个因子交给另一个计算模块运行,最后将计算结果统计出来。如果只运行一只票问题不大,大不了等一下就好,同时运行10票的话就很有必然考虑多进程以加快速度。

pro_queue为生产进程的数据队列,生产进程完成生产后将自己相关数据装产pro_queue中

calc_queue为计算进程的数据队列,计算进程先将生产进程的数据通过参数传递的方式获取到,然后进行计算,并将计算结果存入calc_queue中

主进程在最后不断获取计算进程的计算结果,并将其累加,最终获取到一个总的计算结果

生产进程:

def func_a(i, p: queues):
   print(F"第{i}个生产进程: 进程号:{os.getpid()},开始...")
   time.sleep(random.randint(1, 5))
   result = random.randint(50, 100)
   print(F"第{i}个生产进程: 完成。生产结果[{result}]。")
   p.put((i, os.getpid(), result))

计算进程:

def func_b(i, data, q: queues):
   print(F"第{i}个计算进程: 进程号:{os.getpid()}, 数据源{data[0]}:{data[1]}:{data[2]},开始...")
   time.sleep(random.randint(1, 3))
   result = data[2] * 100
   print(F"第{i}个计算进程: 完成。计算结果【{result}】")
   q.put(result)

程序一开始先将生产进程启动起来:其中process_num表示同时启动多少个生产进程

for i in range(process_num):
       p = Process(target=func_a, args=(i, pro_queue,))
       p.start()

然后不停等待生产进程的结果,每等到一个结果就启动一个计算进程

for i in range(process_num):
       data = pro_queue.get()
       p = Process(target=func_b, args=(i, data, calc_queue))
       p.start()

最后就是等待计算进程的计算结果

s = 0
   for i in range(process_num):
       s += calc_queue.get()
   print(F"所有计算完成,总结果:{s}")

补上程序一开始的两个队列的申明:

import multiprocessing
import time
from multiprocessing import Process
from multiprocessing import queues
import random
import os
   pro_queue = queues.Queue(ctx=multiprocessing)
   calc_queue = queues.Queue(ctx=multiprocessing)
   process_num = 5

来源:https://blog.csdn.net/luhouxiang/article/details/124275271

0
投稿

猜你喜欢

手机版 网络编程 asp之家 www.aspxhome.com