详谈python http长连接客户端
作者：jingxian 发布时间：2023-07-30 22:37:01
标签：python,http,长连接,客户端
背景：
线上机器，需要过滤access日志，发送给另外一个api
期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）
总之就是端口不够用了报错
原因：
每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口
这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题
第一版短连接版本关键代码如下
因涉及具体业务信息，只贴出了关键部分代码
import pycurl
where True:
url=myqueue.get()
send_msg=pycurl.Curl()
send_msg.setopt(pycurl.URL,url)
send_msg.perform()
print send_msg.getinfo(send_msg.HTTP_CODE)
修改后长连接版本如下：
采用requests库
import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
url=myqueue.get()
r=client.get(url,headers=headers)
print r.status_code
0
投稿猜你喜欢
- 自从SQL Server 2005推出后，因为有了更好的性能，所以有很多与SQL Server 2000相关的应用程序需要升级到这个版本。但
PHP get_html_translation_table() 函数实例输出 htmlspecialchars 函数使用的翻译表：<- 实例一--爬取页面import requestsurl="https//itemjd.com/2646846.html"
- 听说安全地断开Connection连接的记录集可以提高ASP的运行速度，请问如何实现？很多人会将一个Connection对象存储在Appli
- 今晚想实现这样一个功能：将输入字符串中的字母 “i” 变成字母 “p”。当时想的很简单，直接用for循环遍历，然后替代，出问题的代码如下：n
- 本文实例讲述了PHP单例模式用法。分享给大家供大家参考，具体如下：<?phpclass db { public $conn
- python内存管理机制:引用计数垃圾回收内存池1. 引用计数当一个python对象被引用时 其引用计数增加 1 ; 当其不再被变量引用时
- 对于比较长的数字组成的字符串，我们一般会用逗号（,）隔开来格式化数字，从右往左每三个数字用一个逗号分组隔开。为什么要用逗号隔开数字呢？因为当
- Python反转二维数组的行和列代码如下：import numpy as nparr=np.arange(12).reshape(4,3)p
- 前言本篇文章要使用OpenCV、Numpy 和Math这3个工具包实现一个简单的滤镜编辑器。在这个滤镜编辑器中，包含了3种滤镜效果，它们分别
- 这是去年毕设做的一个Web漏洞扫描小工具，主要针对简单的SQL注入漏洞、SQL盲注和XSS漏洞，代码是看过github外国大神（听说是SMA
- 很多人在群里问，这个下拉框定位不到、那个弹出框定位不到…各种定位不到，其实大多数情况下就是两种问题：1 有frame，2 没有加等待。殊不知
- PIL vs PillowPIL: Python Imaging Library，是python的图像处理库。由于PIL不兼容setupto
- 使用Python3和Opencv识别一张标准的答题卡。大致的过程如下：1.读取图片2.利用霍夫圆检测，检测出四个角的黑圆位置，从确定四个角的
- 全球数据量的疯狂增长，使得市场对资深数据库管理员的需求也节节攀升。据统计，一直到2016美国IT市场对数据库管理员的需求量增长都将会超过所有
- 用Dreamweaver制作网页时，如果插入的图片、GIF动画、声音、视频或链接的网页是用中文命名的，在用IE浏览器浏览时可能显示不出来。以
- 1. 介绍 SQLite 是一个开源的嵌入式关系数据库，实现自包容、零配置、支持事务的SQL数据库引擎。 其特点是高度便携、使用方便、结构紧
- http://validator.w3.org/#validate_by_upload 在线校验网址点浏览，上次找到自己做的页面
- 字符串类型是python里面最常见的类型，是不可变类型，支持单引号、双引号、三引号，三引号是一对连续的单引号或者双引号，允许一个字符串跨多行
- PyTorch中实现卷积的重要基础函数1、nn.Conv2d:nn.Conv2d在pytorch中用于实现卷积。nn.Conv2d( &nb
