Golang使用协程实现批量获取数据
作者:快乐的提千万 发布时间:2024-01-30 05:05:57
服务端经常需要返回一个列表,里面包含很多用户数据,常规做法当然是遍历然后读缓存。
使用Go语言后,可以并发获取,极大提升效率。
使用channel
package main
import (
"fmt"
"time"
)
func add2(a, b int, ch chan int) {
c := a + b
fmt.Printf("%d + %d = %d\n", a, b, c)
ch <- 1 //执行完了就写一条表示自己完成了
}
func main() {
start := time.Now()
chs := make([]chan int, 10)
for i := 0; i < 10; i++ {
chs[i] = make(chan int)
go add2(1, i, chs[i]) //分配了10个协程出去了
}
for _, ch := range chs {
<-ch //循环等待,要每个完成才能继续,不然就等待
}
end := time.Now()
consume := end.Sub(start).Seconds()
fmt.Println("程序执行耗时(s):", consume)
}
在每个协程的 add() 函数业务逻辑完成后,我们通过 ch <- 1 语句向对应的通道中发送一个数据。
在所有的协程启动完成后,我们再通过 <-ch 语句从通道切片 chs 中依次接收数据(不对结果做任何处理,相当于写入通道的数据只是个标识而已,表示这个通道所属的协程逻辑执行完毕).
直到所有通道数据接收完毕,然后打印主程序耗时并退出。
使用WaitGroup
Add:WaitGroup 类型有一个计数器,默认值是0,我们可以通过 Add 方法来增加这个计数器的值,通常我们可以通过个方法来标记需要等待的子协程数量;
Done:当某个子协程执行完毕后,可以通过 Done 方法标记已完成,该方法会将所属 WaitGroup 类型实例计数器值减一,通常可以通过 defer 语句来调用它;
Wait:Wait 方法的作用是阻塞当前协程,直到对应 WaitGroup 类型实例的计数器值归零,如果在该方法被调用的时候,对应计数器的值已经是 0,那么它将不会做任何事情
package main
import (
"fmt"
"sync"
)
func addNum(a, b int, deferFunc func()) {
defer func() {
deferFunc()
}()
c := a + b
fmt.Printf("%d + %d = %d\n", a, b, c)
}
func main() {
var wg sync.WaitGroup
wg.Add(10) //等于发了10个令牌
for i := 0; i < 10; i++ {
go addNum(i, 1, wg.Done) //每次执行都消耗令牌
}
wg.Wait() //等待令牌消耗完
}
需要注意的是,该类型计数器不能小于0,否则会抛出如下 panic:
panic: sync: negative WaitGroup counter
应用到实践
func GetManyBase(userIds []int64) []UserBase {
userCaches := make([]UserBase, len(userIds))
var wg sync.WaitGroup
for index, userId := range userIds {
wg.Add(1)
go func(index int, userId int64, userCaches []UserBase) {
userCaches[index] = NewUserCache(userId).GetBase()
wg.Done()
}(index, userId, userCaches)
}
wg.Wait()
return userCaches
}
这种写法有两个问题:
1.并发肯定带来乱序,所以要考虑需要排序的业务场景。
2.map是线程不安全的,并发读写会panic。
优化一下:
func GetManyBase(userIds []int64) []UserBase {
userCaches := make([]UserBase, len(userIds))
var scene sync.Map
var wg sync.WaitGroup
for index, userId := range userIds {
wg.Add(1)
go func(index int, userId int64, userCaches []UserBase) {
scene.Store(userId, NewUserCache(userId).GetBase())
wg.Done()
}(index, userId, userCaches)
}
wg.Wait()
i := 0
for _, userId := range userIds {
if value, ok := scene.Load(userId); ok {
userCaches[i] = value.(UserBase)
}
i++
}
return userCaches
}
为什么不直接上锁?
因为经过我的测试,会很慢,没有sync.Map优化的好。
这样可以保证顺序。
来源:https://www.cnblogs.com/HappyTeemo/p/17097505.html


猜你喜欢
- tensorflow作为google开源的项目,现在赶超了caffe,好像成为最受欢迎的深度学习框架。确实在编写的时候更能感受到代码的真实存
- 一、基础表单 <form > <div class="form-group"> <labe
- 我正在用 MySQL 客户端的时候,突然想到如果可以给查询结果添加排名该多好啊,然后就找到了一个简单的解决办法。下面是一个示例表
- 除了IE浏览器,其他所有主流的浏览器均支持原生的 Base64 编码:btoa(text) – base64 encodes text. a
- 继续List: 删除元素: a =[1, 2, 3, 4] a[2:3] = [] #[1, 2, 4] del a[2] #[1, 2]
- 本文总结一下,拖拽所延伸出来的一些效果,供大家参考,具体内容如下1.实现拖拉图片时,带框的效果。即当鼠标拖动某一个图片或物体时,其原有位置扔
- 接触编程的朋友都听过正则表达式,在python中叫re模块,属于文字处理服务里面的一个模块。re里面有一个方法叫match,接下来的文章我来
- 本文实例讲述了Vue开发之封装上传文件组件与用法。分享给大家供大家参考,具体如下:使用elementui的 el-upload插件实现图片上
- 本文实例讲述了python获取一组数据里最大值max函数用法。分享给大家供大家参考。具体如下:# 最简单的max(1, 2)max('
- 基本使用首先要下载 pymysqlpip install pymsql以下是 pymysql 的基本使用import pymysql# 链接
- 1 概述1.1 贪心算法贪心算法总是作出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑,它所作出的选择只是在某种意义上的局部最优选
- 一、序列序列可以使用在数据库表的自动增长列中来用,假如我们的学生表的id想从1开始,然后自动增长,每次增加2,也就是学生id是1、3、5、7
- Windows下采用PyInstall将py文件转换成exe可执行文件好不容易写完的py文件,想做成exe文件,最开始选择用py2exe,结
- asp学习入门经验介绍,本文初步介绍了初学asp的一些相关知识,如VBScript语法简介,循环控制语句的使用,asp数据库的简单操作查询,
- 本文实例为大家分享了js实现购物网站放大镜功能的具体代码,供大家参考,具体内容如下首先看效果图:先是布局,左边一个小图框,包含一个鼠标移动框
- 1.环境准备1.MySQL 安装路径:/usr/local2.CentOS 6.2 服务器(64 bit)3.MySQL 5.7.28 下载
- 一、ref的基本使用ref的使用<!-- `vm.$refs.p`将会是DOM结点 --><p ref="p&q
- 为了庆祝jQuery的四周岁生日, jQuery的团队荣幸的发布了jQuery Javascript库的最新主要版本! 这个版本包含了大量的
- 一、join函数(一)参数使用说明描述Python join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。语法join()
- 编写程序的时候,经常要处理字符串,最基本就是字符串的查找,在php检测字符串中是否包含指定字符串可以使用正则,如果你对正则不了解,那么有几个