通过实例解析Python RPC实现原理及方法
作者:cxc1357 发布时间:2022-06-19 00:50:38
单线程同步
使用socket传输数据
使用json序列化消息体
struct将消息编码为二进制字节串,进行网络传输
消息协议
// 输入
{
in: "ping",
params: "ireader 0"
}
// 输出
{
out: "pong",
result: "ireader 0"
}
客户端 client.py
# coding: utf-8
# client.py
import json
import time
import struct
import socket
def rpc(sock, in_, params):
response = json.dumps({"in": in_, "params": params}) # 请求消息体
length_prefix = struct.pack("I", len(response)) # 请求长度前缀
sock.sendall(length_prefix)
sock.sendall(response)
length_prefix = sock.recv(4) # 响应长度前缀
length, = struct.unpack("I", length_prefix)
body = sock.recv(length) # 响应消息体
response = json.loads(body)
return response["out"], response["result"] # 返回响应类型和结果
if __name__ == '__main__':
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(("localhost", 8080))
for i in range(10): # 连续发送10个rpc请求
out, result = rpc(s, "ping", "ireader %d" % i)
print out, result
time.sleep(1) # 休眠1s,便于观察
s.close() # 关闭连接
服务端 blocking_single.py
# coding: utf8
# blocking_single.py
import json
import struct
import socket
def handle_conn(conn, addr, handlers):
print addr, "comes"
while True: # 循环读写
length_prefix = conn.recv(4) # 请求长度前缀
if not length_prefix: # 连接关闭了
print addr, "bye"
conn.close()
break # 退出循环,处理下一个连接
length, = struct.unpack("I", length_prefix)
body = conn.recv(length) # 请求消息体
request = json.loads(body)
in_ = request['in']
params = request['params']
print in_, params
handler = handlers[in_] # 查找请求处理器
handler(conn, params) # 处理请求
def loop(sock, handlers):
while True:
conn, addr = sock.accept() # 接收连接
handle_conn(conn, addr, handlers) # 处理连接
def ping(conn, params):
send_result(conn, "pong", params)
def send_result(conn, out, result):
response = json.dumps({"out": out, "result": result}) # 响应消息体
length_prefix = struct.pack("I", len(response)) # 响应长度前缀
conn.sendall(length_prefix)
conn.sendall(response)
if __name__ == '__main__':
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建一个TCP套接字
sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 打开reuse addr选项
sock.bind(("localhost", 8080)) # 绑定端口
sock.listen(1) # 监听客户端连接
handlers = { # 注册请求处理器
"ping": ping
}
loop(sock, handlers) # 进入服务循环
多线程同步
使用线程库thread创建原生线程
服务器可并行处理多个客户端
服务端 multithread.py
多进程同步
Python的GIL导致单个进程只能占满一个CPU核心,多线程无法利用多核优势
os.fork()会生成子进程
子进程退出后,父进程需使用waitpid系统调用收割子进程,防止其称为僵尸资源
在子进程中关闭服务器套接字后,在父进程中也要关闭服务器套接字
因为进程fork后,父子进程都有自己的套接字引用指向内核的同一份套接字对象,套接字引用计数为2,对套接字进程close,即将套接字对象的引用计数减1
PreForking同步
进程比线程耗费资源,通过PreForking进程池模型对服务器开辟的进程数量进行限制,避免服务器负载过重
如果并行的连接数量超过了prefork进程数量,后来的客户端请求将会阻塞
单进程异步
通过事件轮询API,查询相关套接字是否有响应的读写事件,有则携带事件列表返回,没有则阻塞
拿到读写事件后,可对事件相关的套接字进行读写操作
设置读写缓冲区
Nginx/Nodejs/Redis都是基于异步模型
异步模型编码成本高,易出错,通常在公司业务代码中采用同步模型,仅在讲究高并发高性能的场合才使用异步模型
PreForking异步
Tornado/Nginx采用了多进程PreForking异步模型,具有良好的高并发处理能力
来源:https://www.cnblogs.com/cxc1357/p/13197183.html


猜你喜欢
- 昨天网上一网友说,由于他同事误将“max server memory”设置为10M后,SQL Server数据库登录不了,当时我简单测试了一
- 1. 确认已经安装了NT/2000和SQL Server的最新补丁程序,不用说大家应该已经安装好了,但是我觉得最好还是在这里提醒一下。2.
- 从http://freeapi.ipip.net和http://ip-api.com/json/这两个网站提供的免费调用接口查询IP地址归属
- 刚看到吴磊同学的一些关于购物车的想法,正巧本人丁学对电子商务这方面比较熟悉,跳出来献丑了,希望对一些同行有些用处。本来想回复到下面的,结果发
- 一开始学习 Python 的时候习惯性的使用 C 中的 a++ 这种写法,发现会报 SyntaxError: invalid syntax
- 本篇文章主要介绍在插入数据到表中遇到键重复避免插入重复值的处理方法,主要涉及到IGNORE,ON DUPLICATE KEY UPDATE,
- request获取post请求中的json数据def hello(request): data = json.loads(request.b
- java JSP开发之Spring中Bean的使用在传统的Java应用中,bean的生命周期很简单。使用Java关键字new进行bean实例
- Json介绍全名JavaScript Object Notation,是一种轻量级的数据交换格式。Json最广泛的应用是作为AJAX中web
- 本文实例讲述了php字符串过滤strip_tags()函数用法。分享给大家供大家参考,具体如下:strip_tags — 从字符串中去除 H
- 进程互斥锁多进程同时抢购余票# 并发运行,效率高,但竞争写同一文件,数据写入错乱# data.json文件内容为 {"ticket
- 测试sql: 代码如下:SET STATISTICS IO ON SET STATISTICS TIME ON SELECT COUNT(1
- 排序是个很泛的概念,而且根据被排序的数据量排序方法和侧重又有很大的不同。因此一直没想到从何着手。今天把玩iphone的时候突然又想到这个问题
- 本文实例分析了JS获取年月日时分秒的方法。分享给大家供大家参考,具体如下:var d = new Date();var time = d.g
- FSO,正如UFO般令人激动、令人神往,当然更多的亦是让人欢喜让人忧。君不见某空间服务商广告:100MB空间只要60RMB/年,支持数据库,
- django 返回数据的主要是用django.http.HttpResponse 中的HttpResponse 完成的具体的我直接贴代码吧
- 1、事件冒泡:在javascript事件传播过程中,当事件在一个元素上出发之后,事件会逐级传播给先辈元素,直到document为止,有的浏览
- github现在已经经常用了,但是经常遇到下面的问题比如:从一个项目A中fork了一个分支B,并且在分支B有了改动。过了几天后,项目A中的代
- 背景:因为工作需要,公司给每个员工都分配了一个邮箱 公司的各种业务都通过邮箱发送。虽然给每个员工的电脑都设置pop3登录但是他们的程序设定有
- 第一种, 使用create_connection链接,需要pip install websocket-client (此方法不建议使用,链接