Golang使用协程实现批量获取数据
作者:快乐的提千万 发布时间:2024-01-30 05:05:57
服务端经常需要返回一个列表,里面包含很多用户数据,常规做法当然是遍历然后读缓存。
使用Go语言后,可以并发获取,极大提升效率。
使用channel
package main
import (
"fmt"
"time"
)
func add2(a, b int, ch chan int) {
c := a + b
fmt.Printf("%d + %d = %d\n", a, b, c)
ch <- 1 //执行完了就写一条表示自己完成了
}
func main() {
start := time.Now()
chs := make([]chan int, 10)
for i := 0; i < 10; i++ {
chs[i] = make(chan int)
go add2(1, i, chs[i]) //分配了10个协程出去了
}
for _, ch := range chs {
<-ch //循环等待,要每个完成才能继续,不然就等待
}
end := time.Now()
consume := end.Sub(start).Seconds()
fmt.Println("程序执行耗时(s):", consume)
}
在每个协程的 add() 函数业务逻辑完成后,我们通过 ch <- 1 语句向对应的通道中发送一个数据。
在所有的协程启动完成后,我们再通过 <-ch 语句从通道切片 chs 中依次接收数据(不对结果做任何处理,相当于写入通道的数据只是个标识而已,表示这个通道所属的协程逻辑执行完毕).
直到所有通道数据接收完毕,然后打印主程序耗时并退出。
使用WaitGroup
Add:WaitGroup 类型有一个计数器,默认值是0,我们可以通过 Add 方法来增加这个计数器的值,通常我们可以通过个方法来标记需要等待的子协程数量;
Done:当某个子协程执行完毕后,可以通过 Done 方法标记已完成,该方法会将所属 WaitGroup 类型实例计数器值减一,通常可以通过 defer 语句来调用它;
Wait:Wait 方法的作用是阻塞当前协程,直到对应 WaitGroup 类型实例的计数器值归零,如果在该方法被调用的时候,对应计数器的值已经是 0,那么它将不会做任何事情
package main
import (
"fmt"
"sync"
)
func addNum(a, b int, deferFunc func()) {
defer func() {
deferFunc()
}()
c := a + b
fmt.Printf("%d + %d = %d\n", a, b, c)
}
func main() {
var wg sync.WaitGroup
wg.Add(10) //等于发了10个令牌
for i := 0; i < 10; i++ {
go addNum(i, 1, wg.Done) //每次执行都消耗令牌
}
wg.Wait() //等待令牌消耗完
}
需要注意的是,该类型计数器不能小于0,否则会抛出如下 panic:
panic: sync: negative WaitGroup counter
应用到实践
func GetManyBase(userIds []int64) []UserBase {
userCaches := make([]UserBase, len(userIds))
var wg sync.WaitGroup
for index, userId := range userIds {
wg.Add(1)
go func(index int, userId int64, userCaches []UserBase) {
userCaches[index] = NewUserCache(userId).GetBase()
wg.Done()
}(index, userId, userCaches)
}
wg.Wait()
return userCaches
}
这种写法有两个问题:
1.并发肯定带来乱序,所以要考虑需要排序的业务场景。
2.map是线程不安全的,并发读写会panic。
优化一下:
func GetManyBase(userIds []int64) []UserBase {
userCaches := make([]UserBase, len(userIds))
var scene sync.Map
var wg sync.WaitGroup
for index, userId := range userIds {
wg.Add(1)
go func(index int, userId int64, userCaches []UserBase) {
scene.Store(userId, NewUserCache(userId).GetBase())
wg.Done()
}(index, userId, userCaches)
}
wg.Wait()
i := 0
for _, userId := range userIds {
if value, ok := scene.Load(userId); ok {
userCaches[i] = value.(UserBase)
}
i++
}
return userCaches
}
为什么不直接上锁?
因为经过我的测试,会很慢,没有sync.Map优化的好。
这样可以保证顺序。
来源:https://www.cnblogs.com/HappyTeemo/p/17097505.html
![](https://www.aspxhome.com/images/zang.png)
![](https://www.aspxhome.com/images/jiucuo.png)
猜你喜欢
- 最近项目中需要与管易云erp做对接,看了他的接口文档,php的示例代码,于是用python仿写。其中传的参数data中前面几个json数据是
- 高阶函数除了可以接受函数作为参数外,还可以把函数作为结果值返回。看代码:# -*- coding: utf-8 -*-# @File &nb
- 一、提要 随着 python 的普及,越来越多的功能可用于 python 编码。使用此功能可以用更少的行和更清晰的
- 1.python 中创建进程的两种方式:from multiprocessing import Processimport timedef
- 废话不多说了,直接给大家贴代码了。编写setup.py后$ python setup.py register$ python setup.p
- 简洁的隐藏垂直菜单在hover时将内容展开。这样的效果在JS里有很多个版本,但这个可以说是绝无仅有的CSS版本。此菜单可以在IE5.5,IE
- PHP echo() 函数实例输出一些文本:<?php echo "Hello world!"; ?>定义和
- 在安装库的时候,一定要特别注意包之间的依赖性一、在Pycharm中直接安装第三方库1、打开Pycharm,点击左上角的File,点击Sett
- 本文实例讲述了Python简单生成8位随机密码的方法。分享给大家供大家参考,具体如下:#!/usr/bin/env python# -*-
- ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。E
- 前言Hi! 这是随笔专栏的第一篇文章。好的开始等于成功了一半。在之后的日子里,除了不定期分享实战中可总结出的小项目外,还会经常与大分享开发时
- 前言:python利用matplotlib库中的plt.ion()函数实现即时数据动态显示:1.非定长的时间轴代码示例:# -*- codi
- 我们使用pycharm的时候,有时遇到了不认识的方法习惯于将鼠标悬停在方法上查看方法介绍。那么如何设置呢?下面小编给大家分享一下。首先假如我
- 我们怎样才能了解用户需求呢?大家都知道可用性测试、调查问卷之类与用户进行沟通的途径,这些方法各有各的利弊,如果逐一分析的话,恐怕至少要分成三
- 一、新手常犯的错误在论坛看到很多帖子代码中都有一个共同的基本错误,字段类型错误。程序和数据库是紧紧相连的,数据库字段文本型或时间型的都使用单
- 1、控制"纵打"、 横打”和“页面的边距。 (1)<script defer> function SetPr
- 虽然Python被说成是一种解释型语言,但是实际上,Python源程序要先经过编译,然后才能运行。与Java语言类似,Python源程序编译
- Mysql的存储过程是从版本5才开始支持的,所以目前一般使用的都可以用到存储过程。今天分享下自己对于Mysql存储过程的认识与了解。一些简单
- PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader,该接口定义在dataloader.py脚本中
- 列表转化为字符串如下所示:>>> list1=['ak','uk',4]>>&