Go如何优雅的使用字节池示例详解
作者:jiaxwu 发布时间:2024-02-10 21:10:17
背景
在某些场景下,我们可能会大量的使用字节数组,比如IO操作、编解码,如果不进行优化,大量的申请和释放字节数组会造成一定的性能损耗,因此有必要复用字节数组。
为何需要字节池
在 Go 语言编程中,在从 io.Reader 中读取数据时,我们都要创建一个字节切片 []byte 去存储,在高频调用或并发比较高的场景中,需要频繁的进行内存申请和释放,增大了 GC 的压力,所以这时候需要采用 “字节池” 来优化。
最简单的方式
对于Go语言来说,我们第一个想到的就是使用sync.Pool来做字节数组的对象池,比如这样:
package bufferpool
import "sync"
type BytePool struct {
p sync.Pool
}
func NewBytePool(size, cap int) *BytePool {
if size > cap {
panic("size must be less then cap")
}
p := &BytePool{}
p.p.New = func() any {
return make([]byte, size, cap)
}
return p
}
// 获取字节数组
func (p *BytePool) Get() []byte {
return p.p.Get().([]byte)
}
// 归还字节数组
func (p *BytePool) Put(b []byte) {
// 重置已用大小
b = b[:0]
p.p.Put(b)
}
我们简单的封装了sync.Pool
,sync.Pool.New
根据指定的初始大小申请新的字节数组,在Put
的时候重置字节数组的已用空间(这样下次才能从头开始使用)。
测试
我们进行一个简单性能测试,也就是不断的申请字节数组,然后写入长度为1024的字节数组块,共64块,也就是64KB,测试样例共3个:
不预先申请空间
这个样例我们不预先申请字节数组空间,因此在append的过程中会不断的申请新的更大的空间,然后转移字节数组内容。
func BenchmarkByte(b *testing.B) {
for n := 0; n < b.N; n++ {
// 从长度为0的字节数组开始
var b []byte
for i := 0; i < blocks; i++ {
b = append(b, block...)
}
}
}
预先申请空间
由于这个测试的总大小的预先知道的,因此我们可以先提前申请空间,这样就不用在append过程中不断的申请新的更大空间,然后转移字节数组内容了。
func BenchmarkMake(b *testing.B) {
for n := 0; n < b.N; n++ {
// 预先保留需要的空间
b := make([]byte, 0, blocks*blockSize)
for i := 0; i < blocks; i++ {
b = append(b, block...)
}
}
}
字节数组池
这里我们每次先从字节池拿一个字节数组Get()
,使用完之后归还字节池Put()
。
func BenchmarkBytePool(b *testing.B) {
pool := NewBytePool(0, blocks*blockSize)
for n := 0; n < b.N; n++ {
// 拿字节数组
b := pool.Get()
for i := 0; i < blocks; i++ {
b = append(b, block...)
}
// 归还
pool.Put(b)
}
}
测试结果
可以看到我们简单的字节池就可以带来很大的性能提升!
BenchmarkByte-16 32470 38136 ns/op
BenchmarkMake-16 605449 1962 ns/op
BenchmarkBytePool-16 1000000 1162 ns/op
更优雅的方式
在实际的编程中,我们在使用字节数组时,很多时候都需要以一个流的形式去读写,同时也可能很难提前计算出需要的大小,因此bytes.Buffer
可能更加适合实际的编程。
package bufferpool
import (
"bytes"
"sync"
)
type BufferPool struct {
p sync.Pool
}
func NewBufferPool(size, cap int) *BufferPool {
if size > cap {
panic("size must be less then cap")
}
p := &BufferPool{}
p.p.New = func() any {
var b []byte
if cap > 0 {
b = make([]byte, size, cap)
}
return bytes.NewBuffer(b)
}
return p
}
// 获取字节数组
func (p *BufferPool) Get() *bytes.Buffer {
return p.p.Get().(*bytes.Buffer)
}
// 归还字节数组
func (p *BufferPool) Put(b *bytes.Buffer) {
// 重置已用大小
b.Reset()
p.p.Put(b)
}
测试
测试条件与上面相同。
直接使用Buffer
作为对比实验我们直接使用Buffer。
func BenchmarkBuffer(b *testing.B) {
for n := 0; n < b.N; n++ {
b := bytes.NewBuffer(make([]byte, 0, blocks*blockSize))
for i := 0; i < blocks; i++ {
b.Write(block)
}
}
}
bytes.Buffer池
func BenchmarkBufferPool(b *testing.B) {
pool := NewBufferPool(0, blocks*blockSize)
for n := 0; n < b.N; n++ {
b := pool.Get()
for i := 0; i < blocks; i++ {
b.Write(block)
}
pool.Put(b)
}
}
测试结果
可以看到使用bytes.Buffer池
比字节数组池性能差了一点,主要是因为bytes.Buffer比较复杂,但是bytes.Buffer的功能比字节数组强大很多。
BenchmarkByte-16 31748 38131 ns/op
BenchmarkMake-16 605847 1964 ns/op
BenchmarkBytePool-16 1000000 1162 ns/op
BenchmarkBuffer-16 589336 2030 ns/op
BenchmarkBufferPool-16 962132 1235 ns/op
限制池大小
有时候我们不想对象池无限大,因此我们需要限制对象池的大小,对于Go语言来说,我们可以使用channel+select
,也就是申请一个固定长度缓冲区的channel,配合select的default分支。
Put:channel不满则put,否则default分支丢弃这个对象。
Get:channel不空则get,否则default分支申请新对象。
这里我们直接使用minio的实现: github.com/minio/minio…
package bufferpool
type ByteFixPool struct {
cache chan []byte
size int
cap int
}
// cacheSize: 字节池缓存长度
// size: 字节数组长度
// cap: 字节数组容量
func NewByteFixPool(cacheSize, size, cap int) *ByteFixPool {
if size > cap {
panic("size must be less then cap")
}
return &ByteFixPool{
cache: make(chan []byte, cacheSize),
size: size,
cap: cap,
}
}
func (p *ByteFixPool) Get() []byte {
select {
// 从channel读
case b := <-p.cache:
return b
// 如果channel空则申请一个新的字节数组
default:
return make([]byte, p.size, p.cap)
}
}
func (p *ByteFixPool) Put(b []byte) {
// 重置已用大小
b = b[:0]
select {
// 放入channel
case p.cache <- b:
// channel满了则丢弃字节数组
default:
}
}
测试
固定大小字节池
这里使用固定大小字节池,同时预先分配空间。
func BenchmarkByteFixPool(b *testing.B) {
pool := NewByteFixPool(16, 0, blocks*blockSize)
for n := 0; n < b.N; n++ {
b := pool.Get()
for i := 0; i < blocks; i++ {
b = append(b, block...)
}
pool.Put(b)
}
}
测试结果
可以看到使用channel+select
的性能甚至更好一点,而且还能限制字节池大小,当然相比于sync.Pool
的实现,它在字节池channel里面的空间是没办法自动回收的。
BenchmarkByte-16 31748 38131 ns/op
BenchmarkMake-16 605847 1964 ns/op
BenchmarkBytePool-16 1000000 1162 ns/op
BenchmarkBuffer-16 589336 2030 ns/op
BenchmarkBufferPool-16 962132 1235 ns/op
BenchmarkByteFixPool-16 1000000 1130 ns/op
来源:https://juejin.cn/post/7134199735799250957
猜你喜欢
- 本文实例讲述了php实现比较全的数据库操作类。分享给大家供大家参考。具体如下:<?php class database {  
- Django crontab定时任务安装pip install django-crontab配置在settings.py中 INSTALLE
- 在编写自动化测试用例的时候,每次登录都需要输入验证码,后来想把让python自己识别图片里的验证码,不需要自己手动登陆,所以查了一下识别功能
- set转成list方法如下: list转成set方法如下:s = set('12342212') &n
- 现有:班级表(A_CLASS)学生表( STUDENT)注:学生表(STUDENT)的classId关联班级表(A_CLASS)的主键ID代
- 最近在处理语音检索相关的事。 其中用到语音识别,调用的是讯飞与百度的api,前者使用js是实现,后者用python3实现(因为自己使用pyt
- 一、问题在windows上面使用eclipse开发的项目在windows上面运行一切正常,部署到腾讯云时出现向MySQL数据库中插入数据是中
- 1.查询当前年、月、周相关时间1.1.查询当前年份SELECT TO_CHAR(SYSDATE,'YYYY') AS YEA
- 前言PyEMD是经验模态分解 (EMD)及其变体的Python实现,EMD最流行的扩展之一是集成经验模态分解 (EEMD),它利用了噪声辅助
- python 不能写new_loss=old_loss=[]这样 两个变量实际上是同一个list要分开写new_loss=[]Old_los
- 本文实例为大家分享了Python生成树形图案的具体代码,供大家参考,具体内容如下先看一下效果,见下图。上面这颗大树是使用Python + T
- 本文教程为大家分享了mysql installer community 8.0.12.0的安装,供大家参考一、下载mysql-install
- 本文实例讲述了MySQL联合索引。分享给大家供大家参考,具体如下:员工表 userid部门表 deptid员工部门表条件:一个员工可以对应多
- 本文记录下自己使用Python实现一个简易的ORM模型使用到的知识1、元类2、描述器元类对于元类,我的理解其实也便较浅,大概是这个意思所有的
- 本文讨论 MySQL 的备份和恢复机制,以及如何维护数据表,包括最主要的两种表类型:MyISAM 和 Innodb,文中设计的 MySQL
- 一般在Django的视图函数中使用request.POST来获取请求体,request.POST是QueryDict类,通常作为dict来使
- PyQt中的线程类 QtCore.QThread ,使用时继承QThread类启动界面的线程暂称为UI线程。界面执行命令时都在自己的UI线程
- 使用非对称加密主要是借助openssl的公钥和私钥,用公钥加密私钥解密,或者私钥加密公钥解密。1.安装openssl和php的openssl
- 今天继续给大家介绍Linux运维相关知识,本文主要内容是SQL bool盲注和时间盲注。免责声明:本文所介绍的内容仅做学习交流使用,严禁利用
- 本文实例讲述了Flask框架实现的前端RSA加密与后端Python解密功能。分享给大家供大家参考,具体如下:前言在使用 Flask 开发用户