go高并发时append方法偶现错误解决分析
作者:gokingliu 发布时间:2024-02-13 20:30:57
背景
在实现图片转码的需求时,需要支持最大 500 个图片下载后转换格式;
如果是一个一个下载后转码,耗时太长,需要使用 goroutine 实现 500 个图片并发下载后,并发转码;
但自测过程中发现,会偶现下载后只转换了 499 个图片或更少的情况(全部下载、转码成功的条件下);
然后就开始了打印日志找 bug 的过程。
排查问题
因为并发时使用到了 sync 等待全部协程结束,起初以为是 sync 异步等待出了问题;
打印日志发现,正常执行了 500 次下载,执行完成下载之后,继续执行的转码操作,排除 sync 异步等待有问题;
代码如下:
import (
"github.com/satori/go.uuid"
"sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
// 遍历 urls 进行下载
for _, value := range urls {
go func(value interface{}) {
defer nWait.Done() // 执行结束,协程减 1
fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败)
err := utils.DownloadCeph(value.(string), fullname) // 下载文件
// 下载文件状态记录
if err != nil {
*failedFiles = append(*failedFiles, fullname)
} else {
*successFiles = append(*successFiles, fullname)
}
}(value)
}
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{} // 多协程异步等待
var successFiles []string // 下载成功文件
var failedFiles []string // 下载失败文件
// 遍历 strUrlList 进行下载
log.Error("开始下载!长度:", len(strUrlList))
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞,等待完成
log.Error("下载结束!长度:", len(successFiles))
//...
log.Error("下载转码!")
//...
日志如下:
2022-10-29 21:28:51.996 ERROR services/tools.go:149 开始下载!长度:500
2022-10-29 21:28:52.486 ERROR services/tools.go:153 下载结束!长度:499
2022-10-29 21:28:52.486 ERROR services/tools.go:155 开始转码!
打印更详细的日志,对 for range 循环内的逻辑进行排查;
在单个 for 循环结束时增加日志:
log.Error("下载协程结束: ", len(*successFiles))
发现一处特殊的日志:
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 63
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 64
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 65
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 65
2022-10-29 21:40:38.408 ERROR services/tools.go:35 下载协程结束: 66
2022-10-29 21:40:38.408 ERROR services/tools.go:35 下载协程结束: 67
两次长度都是 65,切片长度没有发生变化,同一时间点执行两次切片 append 方法,会偶现一次失效,问题原因找到;
解决问题
使用切片索引进行赋值,不再使用 append ;
修复代码如下:
import (
"github.com/satori/go.uuid"
"sync"
)
func downloadFiles(nWait *sync.WaitGroup, urls []interface{}, successFiles *[]string, failedFiles *[]string) {
// 遍历 urls 进行下载
for index, value := range urls {
go func(index int, value interface{}) {
defer nWait.Done() // 执行结束,协程减 1
fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4().String() // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败)
err := utils.DownloadCeph(value.(string), fullname) // 下载文件
// 下载文件状态记录
if err != nil {
(*failedFiles)[index] = fullname
} else {
(*successFiles)[index] = fullname
}
}(index, value)
}
}
// 前端传入的图片 url
strUrlList := req["strUrlList"]
// 初始化变量
nWait := sync.WaitGroup{} // 多协程异步等待
successFiles := make([]string, len(strUrlList), len(strUrlList)) // 下载成功文件
failedFiles := make([]string, len(strUrlList), len(strUrlList)) // 下载失败文件
// 遍历 strUrlList 进行下载
nWait.Add(len(strUrlList)) // 等待协程数
downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles)
nWait.Wait() // 阻塞,等待完成
来源:https://juejin.cn/post/7159967055217688590
猜你喜欢
- 一、Python 切片的一些用法alist = [3,4,5,6,7,9,11,13,15,17]print(alist[::]) # 返回
- 问题:如何用ASP实现点击数统计?比如我要实现某篇文章被浏览一次就增加一个点击数,该怎么做?回答:就是说,比如,你的页面是:shownews
- 一、什么是pywinautoPywinauto是基于Python开发的,用于操作Windows标准图形界面的自动化测试的脚本模块。二、pyw
- Python 功能真的很强,强大到让人吃惊,它能做的事囊括爬虫、数据分析、数据可视化、游戏等等各方面,这些功能在实际的使用中应用广泛,开发程
- numpy.insert()主要用于向矩阵中插入行或列。对于多维矩阵,可以沿任意一个轴插入元素。1. 参数说明numpy.insert(ar
- MySQL服务器端的参数有很多,但是对于大多数初学者来说,众多的参数往往使得我们不知所措,但是哪些参数是需要我们调整的,哪些对服务器的性能影
- 如下所示:import cv2import mathimport numpy as npdef move(img): height, wid
- 前言在《设计模式》一书中工厂模式提到了:工厂方法模式(Factory Method)抽象工厂模式 (Abstract Factory)但是在
- django中有自带的分页模块Paginator,想Paginator提供对象的列表,就可以提供每一页上对象的方法。这里的话不讲解Pagin
- np.newaxisnp.newaxis 的功能是增加新的维度,但是要注意 np.newaxis 放的位置不同,产生的矩阵形状也不同。通常按
- 1 导言 Microsoft 在Microsoft SQL Server 2000中推出了与XML相关的功能以及Transact-SQL 关
- 在Python中是通过一套命名体系来识别成约的访问范围的 class MyObjec(object): username = "d
- 简单的header import urllib2request = urllib2.Request('http://example.
- 我来讲解属性部分, 这是相当有用的, 可要认真上课.首先,jquery中对html标签属性进行操作的关键词是 attr .没错,就4个字母,
- 多子图figure是绘制对象(可以理解为一个空白的画布),一个figure对象可以包含多个Axes子图,一个Axes是一个绘图区域,不加设置
- Confusion Matrix在机器学习领域,混淆矩阵(confusion matrix),又称为可能性表格或是错误矩阵。它是一种特定的矩
- 今天在网上看到type的一段代码 ,然后查了一下文档,才知道type还有三个参数的用法。http://docs.python.org/2/l
- 简介细胞自动机(又称元胞自动机),名字虽然很深奥,但是它的行为却是非常美妙的。所有这些怎样实现的呢?我们可以把计算机中的宇宙想象成是一堆方格
- Python中的缩进(Indentation)决定了代码的作用域范围。这一点和传统的c/c++有很大的不同(传统的c/c++使用花括号{}符
- 如何去读取一个没有表头的二维csv文件(如下图所示)?并以元组的形式表现数据:((1.0, 0.0, 3.0, 180.0), (2.0,