浅谈GO中的Channel以及死锁的造成
作者:Sirius_7 发布时间:2024-04-23 09:41:29
写在前面
这篇文章的诞生要感谢MIT 6.284课程。在其中一节课中,谈到了多线程的协同的一些问题,其中就涉及到了channel这个概念,并由一段代码引发思考并逐渐深入得到了这篇文章。
引子
课程中有一段代码如下:
其大致含义是:代码背景是在进行多线程网络爬虫页面url,master线程启动后,从channel通道中读取当前页面的所有url即urls,接着再对这个urls中的每一个url进行爬虫读取新页面中的urls(即执行go worker(u, ch ,fetcher)),每启动一个worker线程便开始向channel中写入该url指向页面中所有包含的urls,以供master线程读取。
问题抛出
那么问题来了,为什么第一层for循环不会range完ch之后便直接结束循环,还需要利用局部变量n来根据特定情况跳出循环?
问题解释
课程上的解释是,这个range会一直阻塞,但并未提出解释。其实,这里很容易分析,因为当前的channel是一个无缓冲通道。所谓无缓冲通道,简单的讲就是两个线程对channel进行操作,一个读,一个写,永远都只能是写一个,读一个按照这样的顺序进行。更详细一些的话,读的那个线程会一直阻塞,直到写的线程向channel中写入一个数据。反之亦然,写的线程在完成一次写操作之后,也会一直阻塞直到另外一个线程完成对该channel的读取操作。上述情况只有一种例外状况,那就是该channel通道被某个线程close掉了:close(channel)。
而这里的range其实不太等同于对数组的range,这里的range实质上为对channel通道的读取。所以,在并未有认为close通道的前提下,该for循环会一直阻塞,不会退出,于是需要设定一个局部状态量n让其退出循环,保证程序的正常运行。当然我们也可以通过close其channel来实现,不过我认为close的时机可能不是非常容易把握。
继续深入
完成上述思考之后,对channel进行了较为的深入的分析,当然分析是以具体的实验展开的。给出下述实验代码:
func main() {
test()
}
func test() {
ch := make(chan int,4)
go func() {
ch <- 1
ch <- 2
ch <- 3
ch <- 4
}()
//go func() {
for a := range ch {
fmt.Print(a)
}
//}()
fmt.Print("test is over")
}
执行结果直接报错,显示:fatal error: all goroutines are asleep - deadlock!
即:出现死锁。
为什么会出现这种情况?
首先我们来分析一下这段代码的目的:利用channel通道,实现数据的传递,一个线程向channel通道中写入数据,另外一个读取。为什么会出现死锁呢?
首先我们分析一下当前程序有多少个线程在执行,main函数是主线程,调用test函数之后,主线程进入了test函数中继续运行。而在test函数中,采用闭包函数或者说匿名函数的方法新开了一个线程,即goroutine去向已经生成的无缓冲通道中发送数据。发送的过程并非是主线程的任务,所以主线程在执行完go func之后马上跳过继续执行下面的for循环,也就是要将channel中的数据读取出来。
for a := range ch {
fmt.Print(a)
}
这时,问题来了。现在两个线程,主线程读,另外一个写。在另外一个线程完成最后一个写之后,主线程开始阻塞等待新的写操作,而主线程一旦阻塞整个test函数也无法结束,所以导致了死锁的产生,主线程一直被阻塞。
明白了上述原因之后,解决方法便很简单了,将从channel中读数据的任务交给另外一个线程,而非主线程,主线程直接调用完test函数之后马上结束,其他两个线程的死活都不会影响到程序本身的运行,即主线程的运行。如下:
func main() {
test()
}
func test() {
ch := make(chan int,4)
go func() {
ch <- 1
ch <- 2
ch <- 3
ch <- 4
}()
go func() {
for a := range ch {
fmt.Print(a)
}
}()
fmt.Print("test is over")
}
当然这种方法是偷懒的,这样的操作有可能导致内存溢出等情况发生,所以最好还是让发送数据的线程在发送完之后将channel关闭,如下所示:
func main() {
test()
time.Sleep(time.Second)
}
func test() {
ch := make(chan int,4)
go func() {
ch <- 1
ch <- 2
ch <- 3
ch <- 4
close(ch)
}()
go func() {
for a := range ch {
fmt.Print(a)
}
}()
fmt.Print("test is over")
}
输出为:
test is over1234
注意,这里为了保证能够输出1234,需要将主线程休眠1s,确保主线程在退出之前,负责读取的线程能够完成读取工作。
写在后面
Go语言对多线程天然的集成性,让其在处理并发的一些事务时十分方便,但是还是需要注意一些死锁的生成。
来源:https://blog.csdn.net/weixin_38107316/article/details/113485780
猜你喜欢
- 这里以将Apache的日志写入到ElasticSearch为例,来演示一下如何使用Python将Spark数据导入到ES中。实际工作中,由于
- 本文记录了如何在Pytorch中使用Tensorboard(主要是为了备忘)前言虽然我本身就会用TensorBoard,但是因为Tensor
- 矩阵创建1、from numpyimport *;a1=array([1,2,3])a2=mat(a1)矩阵与方块列表的区别如下:2、dat
- 上篇文章给大家介绍过 Python脚本破解Linux口令(crypt模块) 感兴趣的朋友点击查
- 近来在训练检测网络的时候会出现loss为nan的情况,需要中断重新训练,会很麻烦。因而选择使用PyTorch提供的梯度裁剪库来对模型训练过程
- 本文实现了PyQt5个各种弹出窗口:输入框、消息框、文件对话框、颜色对话框、字体对话框、自定义对话框其中,为了实现自定义对话框的返回值,使用
- 本文实例为大家分享了python生成验证码图片代码,分享给大家供大家参考,具体内容如下基本上大家使用每一种网络服务都会遇到验证码,一般是网站
- 具体用法:1、<%= Counters.Get(CounterName) %>显示计数器的值。2、<% counterva
- 代码如下,另存为asp文件,请传到你的服务器上就可以了马上测一下<%Response.Expires = 0Response.Expi
- 本文实例为大家分享了python3磁盘空间监控的具体代码,供大家参考,具体内容如下软硬件环境python3apscheduler前言在做频繁
- 提到SQL Server 2005证书,很多人可能以为它只是用来在传输数据的时候起到加密作用的,但在深入了解后,你会发现它的用处还有很多。
- 近日,sql数据库入门学习群有朋友问到,利用sql如何删除表格的前1000行数据,是否可以实现?如果是oracle数据库管理软件,实现起来相
- 写在前面今天在用爬虫及Pandas更新股票日线数据的时候发现KeyError报错,后面跟了一个DataFrame列索引,一开始以为是索引修改
- DELIMITER $$DROP PROCEDURE IF EXISTS getUserInfo $$CREATE PROCEDURE ge
- 对于网站开发者来说,对展示内容增加一个滑动或者是轮播效果的是非常常见的需求。收费和免费的轮播插件多的是不胜枚举。其中很 多提供很多有用的配置
- 1. MySQL Connector1.1 创建连接import mysql.connector config={ "
- 1、什么是双向数据绑定Vue.js是一个MV VM框架, 即数据双向绑定, 即当数据发生变化的时候, 视图也就发生变化, 当视图发生变化的时
- 匿名函数匿名函数就是不需要显示式的指定函数名首先看一行代码:def calc(x,y): re
- python svm实现手写数字识别——直接可用最近在做个围棋识别的项目,需要识别下面的数字,如下图:我发现现在网上很多代码是良莠不齐,…真
- 在程序实际应用中,少不了要进行字符串拼接的操作。下面介绍一下Python语言中四种字符串拼接的方式。1. 算术运算符拼接在Python中算术