Golang如何编写内存高效及CPU调优的Go结构体
作者:??AlanHou? 发布时间:2024-04-23 09:45:55
前言
结构体是包含多个字段的集合类型,用于将数据组合为记录。这样可以将与同一实体相关联的数据利落地封装到一个轻量的类型定义中,然后通过对该结构体类型定义方法来实现不同的行为。
本文会尝试从内存利用和CPU周期的角度讲解如何高效编写struct
。
我们来看下面这一结构体,这是我们一个奇怪用例所定义的terraform
资源类型:
type TerraformResource struct {
Cloud string // 16字节
Name string // 16字节
HaveDSL bool // 1字节
PluginVersion string // 16字节
IsVersionControlled bool // 1字节
TerraformVersion string // 16字节
ModuleVersionMajor int32 // 4字节
}
使用如下代码来了解TerraformResource
结构体需要分配多少内存:
package main
import (
"fmt"
"unsafe"
)
type TerraformResource struct {
Cloud string // 16字节
Name string // 16字节
HaveDSL bool // 1字节
PluginVersion string // 16字节
IsVersionControlled bool // 1字节
TerraformVersion string // 16字节
ModuleVersionMajor int32 // 4字节
}
func main() {
var d TerraformResource
d.Cloud = "aws"
d.Name = "ec2"
d.HaveDSL = true
d.PluginVersion = "3.64"
d.TerraformVersion = "1.1"
d.ModuleVersionMajor = 1
d.IsVersionControlled = true
fmt.Println("==============================================================")
fmt.Printf("结构体使用的总内存:d %T => [%d]\n", d, unsafe.Sizeof(d))
fmt.Println("==============================================================")
fmt.Printf("结构体中的Cloud字段:d.Cloud %T => [%d]\n", d.Cloud, unsafe.Sizeof(d.Cloud))
fmt.Printf("结构体中的Name字段:d.Name %T => [%d]\n", d.Name, unsafe.Sizeof(d.Name))
fmt.Printf("结构体中的HaveDSL字段:d.HaveDSL %T => [%d]\n", d.HaveDSL, unsafe.Sizeof(d.HaveDSL))
fmt.Printf("结构体中的PluginVersion字段:d.PluginVersion %T => [%d]\n", d.PluginVersion, unsafe.Sizeof(d.PluginVersion))
fmt.Printf("结构体中的ModuleVersionMajor字段:d.IsVersionControlled %T => [%d]\n", d.IsVersionControlled, unsafe.Sizeof(d.IsVersionControlled))
fmt.Printf("结构体中的TerraformVersion字段:d.TerraformVersion %T => [%d]\n", d.TerraformVersion, unsafe.Sizeof(d.TerraformVersion))
fmt.Printf("结构体中的ModuleVersionMajor字段:d.ModuleVersionMajor %T => [%d]\n", d.ModuleVersionMajor, unsafe.Sizeof(d.ModuleVersionMajor))
}
输出结果
$ go run golang-struct-memory-allocation.go
==============================================================
结构体使用的总内存:d main.TerraformResource => [88]
==============================================================
结构体中的Cloud字段:d.Cloud string => [16]
结构体中的Name字段:d.Name string => [16]
结构体中的HaveDSL字段:d.HaveDSL bool => [1]
结构体中的PluginVersion字段:d.PluginVersion string => [16]
结构体中的ModuleVersionMajor字段:d.IsVersionControlled bool => [1]
结构体中的TerraformVersion字段:d.TerraformVersion string => [16]
结构体中的ModuleVersionMajor字段:d.ModuleVersionMajor int32 => [4]
因此结构体TerraformResource
所需分配的总内存是88字节。TerraformResource
类型内存分配
如下图所示:
为什么是88字节呢?16 +16 + 1 + 16 + 1+ 16 + 4 = 70 bytes,多出来的18字节是从哪来的?
涉及到结构体的内存分配时,总是会分配连续、字节对齐的内存志,字段按所定义的顺序进行内存分配和存储。这里的字节对齐表示连续的内存块按平台的字大小进行偏移排列。
可以很清楚地看到TerraformResource.HaveDSL
、TerraformResource.isVersionControlled
和TerraformResource.ModuleVersionMajor
分别仅占用1字节、1字节和4字节。剩余的空间使用空白字节进行填充。
所以重新计算一下:
数据占用字节 = 16字节 + 16字节 + 1字节 + 16字节 + 1字节 + 16字节 + 4字节 = 70字节
空白字节 = 7字节 + 7字节 + 4字节 = 18字节
总字节数 = 数据占用字节 + 空白字节 = 70字节 + 18字节 = 88字节
那如何修复这个问题呢?通过恰当地的数据结构对齐,我们可以这样来定义结构体:
type TerraformResource struct {
Cloud string // 16字节
Name string // 16字节
PluginVersion string // 16字节
TerraformVersion string // 16字节
ModuleVersionMajor int32 // 4字节
HaveDSL bool // 1字节
IsVersionControlled bool // 1字节
}
使用优化后的结构体来运行同一段代码:
输出结果
$ go run golang-struct-memory-allocation.go
==============================================================
结构体使用的总内存:d main.TerraformResource => [72]
==============================================================
结构体中的Cloud字段:d.Cloud string => [16]
结构体中的Name字段:d.Name string => [16]
结构体中的HaveDSL字段:d.HaveDSL bool => [1]
结构体中的PluginVersion字段:d.PluginVersion string => [16]
结构体中的ModuleVersionMajor字段:d.IsVersionControlled bool => [1]
结构体中的TerraformVersion字段:d.TerraformVersion string => [16]
结构体中的ModuleVersionMajor字段:d.ModuleVersionMajor int32 => [4]
现在TerraformResource
类型总的内存占用是72字节。
我们来看下在内存中是如何排列的:
仅仅是通过对结构体元素进行了一轮数据结构对齐我们就将所占用的内存由88字节降到了72字节,真是太棒了!!!
我们再来算一下
数据占用字节 = 16字节 + 16字节 + 16字节 + 16字节 +4字节 + 1 byte + 1字节 = 70字节
空白字节 = 2字节
总字节数 = 数据占用字节 + 空白字节 = 70字节 + 2字节 = 72字节
通过恰当的数据结构对齐不仅优化了内存占用,还优化了CPU读取周期,怎么做到的呢?
CPU以字为单位从内存中进行读取,一个字在32位系统中占用4字节、64位系统中占用8字节。我们声明的第一个结构体类型TerraformResource
CPU需要读取11个字才能读完:
但对优化后的结构体只需要读取9个字:
通过恰当地对结构体进行数据结构排序我们可以让内存分配和CPU 读取都变得高效。
来源:https://juejin.cn/post/7124539157837250596
猜你喜欢
- 我们一般在调试程序的时候,有些操作会莫名地失败,又没有错误消息提示,特别是在执行数据库操作的时候,明明执行过去了,可就是数据库里没有记录变动
- 本文实例讲述了Python单向链表和双向链表原理与用法。分享给大家供大家参考,具体如下:链表是一种数据结构,链表在循环遍历的时候效率不高,但
- 本文实例讲述了Python提示[Errno 32]Broken pipe导致线程crash错误解决方法。分享给大家供大家参考。具体方法如下:
- CSS3 + HTML5是未来的Web,它们都还没有正式到来,虽然不少浏览器已经开始对它们提供部分支持。本文介绍了5个CSS3技巧,可以帮你
- 游标为您提供了在逐行的基础上而不是一次处理整个结果集为基础的操作表中数据的方法。 1.如何使用游标 1)定义游标语句 Declare <
- 通常,由于类别不均衡,需要使用weighted cross entropy loss平衡。def inverse_freq(label):
- XML虽然比JSON复杂,在Web中应用也不如以前多了,不过仍有很多地方在用,所以,有必要了解如何操作XML。DOM vs SAX操作XML
- 这个弹出层的登录界面挺好看,很清爽所以转了过来给大家分享,要实现这个功能很简单:首先设计一个登录界面,使用css中的display=&quo
- 前提条件,percona 5.6版本,事务隔离级别为RRmysql> show create table test_autoinc_l
- 使用itertools工具类中的chain方法,可以很方便的将多个iterable对象一起遍历. 不过,对于dict类型的iterable对
- 本文实例为大家分享了python实现多人聊天室的具体代码,供大家参考,具体内容如下刚开始学习python,写了一个聊天室练练手。Server
- 业务场景:前后端分离需要对接数据接口。接口测试是在postman做的,今天才开始和前端对接,由于这是我第一次做后端接口开发(第一次嘛,问题比
- 一. 字符串生活中我们经常坐大巴车,每个座位一个编号,一个位置对应一个下标。 字符串中也有下标,要取出字符串中的部分数据,可以用下标取。py
- 我遇到的一个小需求,就是希望通过判断pandas dataframe中一列的值在两个条件范围(比如下面代码中所描述的逻辑,取小于u-3ε和大
- 本文实例讲述了Python爬虫框架Scrapy常用命令。分享给大家供大家参考,具体如下:在Scrapy中,工具命令分为两种,一种为全局命令,
- 使用phpmyadmin或者navicat链接数据库时提示【客户端软件无法连接localhost】经检查发现是IPV6地址监听了3306端口
- Access 操作很简单,具体不步骤如下:打开你mdb数据库,工具-->数据库实用工具-->压缩和修复数据库(c)... SQL SERVE
- 装完数据库清理一些默认账号的时候不小心把root删除了,flush privileges 之后的新 root 忘了grant任何权限,查看m
- 本文讲述了Python使用pip安装报错:is not a supported wheel on this platform的解决方法。分享
- 什么是变量在Python编程语言中,变量是用于存储数据值的标识符。它们可以用来引用数据值,而不是直接使用值本身。可以使用等号(=)运算符来将