go 对象池化组件 bytebufferpool使用详解
作者:FfFJ 发布时间:2024-02-10 14:26:11
1. 针对问题
在编程开发的过程中,我们经常会有创建同类对象的场景,这样的操作可能会对性能产生影响,一个比较常见的做法是使用对象池,需要创建对象的时候,我们先从对象池中查找,如果有空闲对象,则从对象池中移除这个对象并将其返回给调用者使用,只有在池中无空闲对象的时候,才会真正创建一个新对象
另一方面,对于使用完的对象,我们并不会对它进行销毁,而是将它放回到对象池以供后续使用,使用对象池在频繁创建和销毁对象的情况下,能大幅的提升性能,同时为了避免对象池中的对象占用过多的内存,对象池一般还配有特定的清理策略,Go的标准库sync.Pool
就是这样一个例子,sync.Pool
中的对象会被垃圾回收清理掉
这类对象中,有一种比较特殊的是字节切片,在做字符串拼接的时候,为了拼接高效,我们通常将中间结果存放在一个字节缓冲中,拼接完之后,再从字节缓冲区生成字符串
Go标准库bytes.Buffer
封装字节切片,提供一些使用接口,我们知道切片的容量是有限的,容量不足时需要进行扩容,而频繁的扩容容易造成性能抖动
bytebufferpool
实现了自己的Buffer
类型,并引入一个简单的算法降低扩容带来的性能损失
2. 使用方法
bytebufferpool
的接入很轻量
func main() {
bf := bytebufferpool.Get()
bf.WriteString("Hello")
bf.WriteString(" World!!")
fmt.Println(bf.String())
}
上面的这种用法使用的是defaultPool
,bytebufferpool
的Pool
对象是公开的,也可以自行新建
3. 源码剖析
bytebufferpool
是如何做到最大程度减小内存分配和浪费的呢,先宏观的看整个Pool
的定义,然后细化到相关的方法,就可以找到答案
bytebufferpool
中Pool
结构体的定义为
type Pool struct {
calls [steps]uint64
calibrating uint64
defaultSize uint64
maxSize uint64
pool sync.Pool
}
其中calls
存储了某一个区间内不同大小对象的个数,calibrating
是一个标志位,标志当前Pool
是否在重新规划中,defaultSize
是元素新建时的默认大小,它的选取逻辑是当前calls
中出现次数最多的对象对应的区间最大值,这样可以防止从对象池中捞取之后的频繁扩容,maxSize
限制了放入Pool
中的最大元素的大小,防止因为一些很大的对象占用过多的内存
bytebufferpool
中定义了一些和defaultSize
及maxSize
计算相关的常量
const (
minBitSize = 6 // 2**6=64 is a CPU cache line size
steps = 20
minSize = 1 << minBitSize
maxSize = 1 << (minBitSize + steps - 1)
calibrateCallsThreshold = 42000
maxPercentile = 0.95
)
其中minBitSize
表示的是第一个区间对象大小的最大值(2的xx次方-1),在bytebufferpool
中,将对象大小分为20个区间,也就是steps
,第一个区间为[0, 2^6-1]
,第二个为[2^6, 2^7-1]
...,依此类推
calibrateCallsThreshold
表示如果某个区间内对象的数量超过这个阈值,则对Pool
中的变量进行重新的计算,maxPercentile
用于计算Pool
中的maxSize
,表示前95%
的元素大小
bytebufferpool
中的方法也比较少,核心的是Get
和Put
方法
Get
func (p *Pool) Get() *ByteBuffer {
v := p.pool.Get()
if v != nil {
return v.(*ByteBuffer)
}
return &ByteBuffer{
B: make([]byte, 0, atomic.LoadUint64(&p.defaultSize)),
}
}
可以看到,如果对象池中没有对象的话,会申请defaultSize
大小的切片返回
Put
func (p *Pool) Put(b *ByteBuffer) {
idx := index(len(b.B))
if atomic.AddUint64(&p.calls[idx], 1) > calibrateCallsThreshold {
p.calibrate()
}
maxSize := int(atomic.LoadUint64(&p.maxSize))
if maxSize == 0 || cap(b.B) <= maxSize {
b.Reset()
p.pool.Put(b)
}
}
Put方法会比较麻烦,我们分步来看
计算放入元素在
calls
数组中的位置
func index(n int) int {
n--
n >>= minBitSize
idx := 0
for n > 0 {
n >>= 1
idx++
}
if idx >= steps {
idx = steps - 1
}
return idx
}
这里的逻辑就是先将长度右移minBitSize
,如果依然大于0,则每次右移一位,idx加1,最后如果idx超出了总的steps
(20),则位置就在最后一个区间
判断当前区间放入元素的个数是否超过了
calibrateCallsThreshold
指定的阈值,超过则重新计算Pool
中元素的值
func (p *Pool) calibrate() {
// 如果正在重新计算,则返回,控制多并发
if !atomic.CompareAndSwapUint64(&p.calibrating, 0, 1) {
return
}
// 计算每一段区间中的元素个数 & 元素总个数
a := make(callSizes, 0, steps)
var callsSum uint64
for i := uint64(0); i < steps; i++ {
calls := atomic.SwapUint64(&p.calls[i], 0)
callsSum += calls
a = append(a, callSize{
calls: calls,
size: minSize << i,
})
}
// 按照对象元素的个数从大到小排序
sort.Sort(a)
// defaultSize 为内部切片的默认大小,减少扩容次数
// maxSize 限制放入pool中的最大元素大小
defaultSize := a[0].size
maxSize := defaultSize
// 将前95%元素中的最大size给maxSize
maxSum := uint64(float64(callsSum) * maxPercentile)
callsSum = 0
for i := 0; i < steps; i++ {
if callsSum > maxSum {
break
}
callsSum += a[i].calls
size := a[i].size
if size > maxSize {
maxSize = size
}
}
// 对defaultSize和maxSize进行赋值
atomic.StoreUint64(&p.defaultSize, defaultSize)
atomic.StoreUint64(&p.maxSize, maxSize)
atomic.StoreUint64(&p.calibrating, 0)
}
判断当前放入元素的大小是否超过了
maxSize
,超过则不放入对象池中
来源:https://juejin.cn/post/7150528125841965093
猜你喜欢
- 选择题以下python代码输出什么?a = [2,3,1]sorted(a)print(a)A aB [3, 2, 1]C [2, 3, 1
- 一 distinct含义:distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数(count(distinct
- 爬虫请求头网页获取:通过urlopen来进行获取requset.urlopen(url,data,timeout)第一个参数url即为URL
- 本文实例讲述了php生成随机数/生成随机字符串的方法。分享给大家供大家参考,具体如下:有时候我们的项目需要生成随机数,但是又不想那么麻烦,那
- 想做个和IBM公司一样的网站LOGO,试了半天也没有做出来,郁闷之下,只好求高手帮助!先在这里谢谢了!方法一1、写上IBM,调节字号颜色2、
- 权限及设计数据库用户管理使用SQLyog 创建用户,并授予权限演示基本命令/* 用户和权限管理 */ ------------------用
- 今天研究了个开源项目,数据库是mysql的,其中的脚本数据需要备份,由于本人的机器时mac pro,而且mac下的数据库连接工具都不怎么好用
- 这篇文章主要介绍了如何通过python实现全排列,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以
- 本文实例讲述了Python延时操作实现方法。分享给大家供大家参考,具体如下:在日常的开发中,往往会遇到这样的需求,需要某一个函数在一段时间之
- 需求我的需求是批量裁剪某一文件夹下的所有图片,并指定裁剪宽高。思路1、 先使用PIL.Image.size获取输入图片的宽高。2、宽高除以2
- 记录:256写SQL最高境界:SELECT * FROM 表名。当然这是一句自嘲。探究一下SQL语句中JOIN的用法,直到经历这个场景,变得
- 本文实例为大家分享了python实现某考试系统生成word试卷的具体代码,供大家参考,具体内容如下提示:写完文章后,目录可以自动生成,如何生
- 一、套接字套接字是为特定网络协议(例如TCP/IP,ICMP/IP,UDP/IP等)套件对上的网络应用程序提供者提供当前可移植标准的对象。它
- 步骤一:设置sql server数据库1.登录sql server数据库以新建一个新用户名test作为远程连接登录名。在本地登录sql se
- 通过清晰的示例和解释,本文展示了 ChatGPT 如何简化和简化创建复杂 MySQL 查询的过程,使用户更容易与数据库交互并检索他们需要的数
- 数据合并是数据处理过程中的必经环节,pandas作为数据分析的利器,提供了四种常用的数据合并方式,让我们看看如何使用这些方法吧!1.conc
- <input type=button value=刷新 onclick="hist
- 一、包的导入Golang 当导入多个包时,一般按照字母顺序排列包名称,像Goland 等IDE 会在保存文件时自动完成这个动作。Golang
- 需求描述:在公司老旧系统里,数据库表很多,但是在设计之初并没有建立好关系图,导致新人刚入职,面对N个库,每个库几百张表,很不方便。例如:公司
- 这就需要在 MySQL 中对用户权限进行修改,授予需要的权限。本文将演示这种情况,并给出详细的解决步骤。本文示例的配置如下:Discuz!数