一次Docker中Redis连接暴增的问题排查实战记录
作者:Cfan1236 发布时间:2022-01-23 08:10:29
周六生产服务器出现redis服务器不可用状态,错误信息为:
状态不可用,等待后台检查程序恢复方可使用。Unexpected end of stream; expected type 'Status'
如下图所示,下图6300就是我们redis服务器运行的端口。
头一次碰到此类问题,心想难道是redis挂掉了,随即通过telnet ip+端口。发现运行正常,然后就想着进入redis看下目前连接情况。一看发现竟然高达1903条这么多。
然后想着应该是代码创建redis连接过多导致的,查看代码。
发现redis创建只有这一个地方有,这里也是服务注册时才执行。也就是应用程序启动时才被执行一次。然后整个项目查找,没有其他地方再有调用redis初始化。
心有不甘,难道是每次在redis读写数据时都会创建连接吗?会和读写频繁有关系吗?总感觉不会啊,随即创建测试代码进行测试一番。
在本地搭建了一个redis环境,测试之前先看看接数多少,目前看只有1个,也就是目前的cmd连接客户端,这个属于正常的了。
开始测试,运行程序。代码是创建一个连接对象,并一共测试1000次写,和1000次读。
不管我怎么测试连接都是6个,那么也就是说我们程序最多创建了5个连接,当然主要有线程池在里面。
所以基本的存储读取这块代码肯定是没问题。
但代码这块也没算完全放弃排查,因为生产服务器通过docker运行着大约6个应用程序。都是连接的同一个redis,会不会是其他应用程序导致的?
然后就想直接通过redis 连接列表里的中随便一个端口来查询对应的进程信息就可以知道是哪些应用程序了。
Linux 中通过查询网络端口号显示进程信息。
netstat -atunlp | grep 60852
首先看这端口对应的IP,比如这里第一个是172.17.0.1。熟悉docker的同学应该知道这个ip是docker网关IP。我们容器中的程序都是通过这个网关IP来和我们宿主主机来通讯的。我们通过ifconfig就能发现docker这个网关IP,第二个172.17.0.3:6379这个一看就是redis的容器IP,
这样一看确实无法找到具体对应哪个容器中的程序和我们建立连接的。
有一个最笨的办法就是挨个进入容器里面。即docker exec –it test /bin/bash 然后查看当前容器的网络连接情况。这样非常麻烦,并且需要安装很多组件才能执行一系列命令。
另外一个办法lsof命令,如果没有则需要安装。我们可以通过进程去找所有网络连接情况。
比如我们刚发现我们的进程主要是docker,他的pid是582251。
lsof -i |grep 582251
或者 lsof -i -p 582251
结果如下图,右边其实出现了具体IP,这个IP就是docker容器具体的IP地址。
现在知道所有IP和端口了,我们将命令执行结果下载下来。
首先找到自己每个容器对应的IP。
docker inspect name |grep IPAddress //name 容器名称或者id
找到每个ip后然后根据刚下载的所有网络连接信息进行统计,看哪个IP连接最多,最多的一个肯定有问题。
然后我就找到这个IP对应的容器部署的程序,然后看redis配置。发现线程池设为200。
另外我通过github,发现CSRedisCore还有个预热机制,也就是preheat,他默认值就是5个预热连接。
我们线程池设置的是200加上本身有个预热机制5个连接,我不知道是不是会创建200*5=1000个。这个有时间再好好研究下源代码,目前只是猜测。
我现在已经将redis修改为poolsize=5, preheat=false。线程池5个,并且关闭预热机制。
修改我们连接配置,并重启应用服务器和redis服务器(为了彻底清除已建立的连接)后发现连接数有减少,但没有很多。后来查询发现,是redis的idle空闲时长太长,导致连接池维持太多连接,没有被释放。
我们设置下超时为30s
执行CONFIG SET timeout 30 (单位是秒,此种方式只是临时修改,针对当前运行有效。长效记得修改redis配置文件)
然后再看下连接数多少,这样一下子就减少了很多。
总结:
1、 redis连接暴增,首先从自身应用程序出发去寻找问题,比如我这边发现的连接池设置过大,加上默认的预热机制等。还有尽可能的看代码层面在创建连接是否会被多次触发,如果有就必须要改正。现在都是通过注入的方式创建实例,要看该地方是存在被多次调用。
2、修改redis服务器配置,比如连接空闲超时时间。包括也可也看下最大连接数多少,默认值。
来源:https://www.cnblogs.com/rui1236/p/13061696.html
猜你喜欢
- centos7安装ftp服务安装安装vsftpd : [root@ftp ~]# yum install -y vsftpd&nb
- 10月16日消息,据国外媒体报道,谷歌Android智能手机操作系统正在以很快的速度开发。与其它的操作系统相比,虽然Android推出的时间
- 1、图片站图片站的内容是图片而不是文章,但是GOOGLR广告是文章无法匹配,影响到您站的整体美观建议不要用。2、小说站网站浏览者多是老用户,
- 众所周知,网络安全是一个非常重要的课题,而服务器是网络安全中最关键的环节。Linux被认为是一个比较安全的Internet服务器,作为一种开
- 基于 ssh 的 sftp 服务相比 ftp 有更好的安全性(非明文帐号密码传输)和方便的权限管理(限制用户的活动目录)。1、开通 sftp
- 内部因素(15条)1、URL中出现关键词2、网页Title中出现关键词3、常规内容中出现关键词4、在页面的第一段中出现关键词5、在页面的最后
- 最近网络中有主机频繁断线,刚刚开始还比较正常,但是一段时间后就出现断线情况,有时很快恢复,但是有时要长达好几分钟啊,这样对工作影响太大了。最
- 笔者服务于一家小的电脑公司,随着业务的不断拓展,公司传统办公模式的弊端逐步显露出来:员工经常出差导致命令无法迅速上传下达;下级汇报工作时负责
- 不管是在局域网还是互联网上,人们也都面临着另外一个困惑:计算机在网络上通讯时本来只能识别如“221.130.187.119”之类的数字地址,
- URL中出现关键词网页Title中出现关键词常规内容中出现关键词在页面的第一段中出现关键词在页面的最后一段中出现关键词Heading 标签
- 北京时间10月14日消息,据国外媒体报道,Twitter于昨日推出了“举报垃圾信息”的新功能,以打击
- 下面给大家介绍下Godaddy-Linux主机上安装的程序语言,这是我们的Godaddy-Linux主机服务器上的Web软件及版本。操作系统
- 前言最近项目要求,需要一台服务器,阿里和腾讯都不错,我选择了腾讯云,系统为CentOS 7(linux)。记录搭建服务器的过程,方便以后再次
- 下列示例在默认网站应用程序 (W3SVC/1/ROOT) 上启用分区。请注意,只要设置了 AspEnableTracker 属性,AspAp
- 一、什么是共享内存顾名思义,共享内存就是允许两个不相关的进程访问同一个逻辑内存。共享内存是在两个正在运行的进程之间共享和传递数据的一种非常有
- 在VMware上安装CentOS7,废话不多说,具体如下:1、下载好VMware2、准备好CentOS的镜像文件3、打开VMware创建新的
- 在切入正题之前给大家讲一个故事,估计有很多人人听过:从前有一个人很笨,想学习功夫,但是很多师傅都不收。最后一个师傅被他搞得不耐烦了。就把他叫
- 前面不少的朋友一直咨询我一个问题,就是很多网站在争夺相同关键词时,为什么有的网站仅仅几个页面,单它的排名也能超过这些收录上万页面的网站呢?这
- 据OpenSUSE官方发布的消息称,lizardsource.cn成为中国大陆内OpenSuSE最大镜像服务器。目前,国内也有大大小小几个O
- 国外著名英文搜索引擎大全1、Google http://www.google.com2、Yahoo http://www.yah