详谈python http长连接客户端
作者：jingxian 发布时间：2023-07-30 22:37:01
标签：python,http,长连接,客户端
背景：
线上机器，需要过滤access日志，发送给另外一个api
期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截图了。。。）
总之就是端口不够用了报错
原因：
每一条日志都是一次请求发送给api，短连接产生大量time_wait状态，占用了大量端口
这种高并发导致的大量time_wait状态内核调优基本是没用的，后来改为长连接解决问题
第一版短连接版本关键代码如下
因涉及具体业务信息，只贴出了关键部分代码
import pycurl
where True:
url=myqueue.get()
send_msg=pycurl.Curl()
send_msg.setopt(pycurl.URL,url)
send_msg.perform()
print send_msg.getinfo(send_msg.HTTP_CODE)
修改后长连接版本如下：
采用requests库
import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
url=myqueue.get()
r=client.get(url,headers=headers)
print r.status_code
0
投稿猜你喜欢
- $array=explode(separator,$string); $string=implode(glue,$array);使用和理解这
目录一、索引基本知识1.1 索引的优点1.2 索引的用处1.3 索引的分类1.4 面试技术名词1.5 索- 一、查看存储过程存储过程创建以后，用户可以通过SHOW STATUS语句来查看存储过程的状态，也可以通过SHOW CREATE语句来查看存储
- 今天主要记录一下pandas去重复行以及如何分类汇总。以下面的数据帧作为一个例子： import pandas as pddata
- 1.Vue指令Vue提供自定义实现指令的功能, 和组件类似,可以是全局指令和局部指令,详细可以参见vue官网自定义指令一节(https://
- 在许多语言中，你可以轻松地将任何数据类型转换为字符串，只需将其与字符串连接，或者使用类型转换表达式即可。但是，如果你在Go中尝试执行似乎很明
- 一、爬虫框架Scarpy简介Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架，爬取网站，从网站页面得到结构化的数据，它有着广泛的用途
- 所谓“分块”，顾名思义，就是将数据集分成几块进行读取，比如有105条数据，一次读取10条，读取11次
- 技术栈：uniapp-H5+uniapp-微信小程序（vue3+vite2+ts）前言：在单位做项目的时候碰到一个需求，需要从微信小程序跳转
- 很神奇的一个晚上，居然在以前老同事的群里跟同事讨论起CSS的东西来了，不过很意外的还是有收获。在IE中常常会碰到如果将容器定位后，出现容器内
- 目录一·Numpy库中操作文件1.操作csv文件2.在pycharm中操作csv文件3.其他情况(.npy类型文件)二·Pandas库中操作
- Python pip安装lxml出错的问题解决办法1. 在使用pip安装lxml过程中出现了一下错误： &
- 循环写入字典key、value、删除指定的键值对：原文本‘jp_url.txt'每行元素以逗号分隔：host_key,product
- ord是unicode ordinal的缩写,即编号chr是character的缩写,即字符ord和chr是互相对应转换的.但是由于chr局
- slice 可以用来获取数组片段，它返回新数组，不会修改原数组。除了正常用法，slice 经常用来将 array-like 对象转换为 tr
- Json模块dumps、loads、dump、load函数介绍1、json.dumps() json.dumps()用于将dict
- Python连接MySQL，进行数据库表变更和查询：python mysql insert delete query：#!/usr/bin/
- 如下所示：#coding:utf8import pandas as pdimport numpy as npfrom pandas impo
- 1.安装python3yum -y install wget gcc make zlib-devel readline-devel bzip
- 本文实例讲述了Python列表推导式、字典推导式与集合推导式用法。分享给大家供大家参考，具体如下：推导式comprehensions（又称解
