深入理解 Go 语言并发编程--管道(channel) 的底层原理

2024-08-24 00:04

本文主要是介绍深入理解 Go 语言并发编程--管道(channel) 的底层原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        管道是 Go 语言协程间通信的一种常用手段,管道的读写操作也有可能会阻塞用户协程,也就是说有可能会切换到调度器。协程因为管道而阻塞时,只有当其他协程再次读或者写管道时,才有可能解除这个协程的阻塞状态。

1. 管道的基本用法

        管道是 Go 语言协程间通信的一种常用手段,可以分为无缓冲管道和有缓冲管道。因为无缓冲管道本身没有容量,不能缓存数据,所以只有当协程在等待读时,写操作才不会阻塞协程;或者当有协程在等待写时,读操作才不会阻塞协程。因为有缓冲管道本身有一定容量,可以缓存一定数据,所以当协跑第一执行写操作时,即使没有其他协程在等待读,只要管道还有剩余容量,写操作就不会阻塞协程;或者当协程执行读操作时,即使没有其他协程在等待写,只要管道还有剩余数据,读操作就不会阻塞协程。

        下面写一个简单的 Go 程序,学习管道的基本用法,代码如下所示:

package mainimport ("fmt""time"
)func main() {queue := make(chan int, 1)go func() {for {data := <-queue     //读取fmt.Print(data, "") //0 1 2 3 4 5 6 7 8 9}}()for i := 0; i < 10; i++ {queue <- i //写入}time.Sleep(time.Second)
}

        参考上面代码,主协程循环向管道写入整数,子协程循环从管道读取数据。主协程休眠 1s 是为了防止主协程结束,整个 Go 程序退出,导致子协程也提前结束。函数 make 用于初始化 Go 语言的一些内置类型,如切片 slice、散列列 map 以及管道 chan。注意用函数 make 初始化时,第一个参数 chan int 表示管道只能用来传递整型数据,第二个参数表示管道的容量是 1,即最多只能缓存一个整型数据。

        管道的操作还是比较简单的,无非就是读、写以及关闭操作。这里提出一个问题,如果程序没有初始化管道,却执行读或者写操作会发生什么呢?或者说,如果一个管道已经被关闭了,这时候执行读或者写操作会发生什么呢?我们写一些简单的 Go 程序测试一下。

        第 1 个程序:不初始化管道,直接执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intqueue <- 100fmt.Println("main end")
}

        运行上面的程序,竟然报错了,提示 all goroutines are asleep,意思是所有的协程都在休眠,程序死锁了。为什么所有的协程都在休眠呢?其实是由主协程向未初始化的管道写数据导致的,也就是说,向未初始化的管道写数据会导致协程永久性阻塞。

        第 2 个程序:不初始化管道,直接执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intdata := <-queuefmt.Println("main end",data)
}

        可以看到,第 2 个程序的运行结果与第 1 个程序一致,主协程同样被阻塞了,即从未初始化的管道读数据也会导致协程的永久性阻塞。

第 3 个程序: 关闭管道之后,再执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)close(queue)queue <- 100fmt.Println("main end")
}

第 4 个程序:关闭管道之后,再执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)queue <- 100close(queue)data1 := <-queuefmt.Println("main end1", data1)data2 := <-queuefmt.Println("main end2", data2)
}

        我们先向管道写入一个整型数据 100,再关闭管道,随后从管道读取两次数据。参考上面的输出结果,程序输出了两条语句,第一次正常读取到了数据 100,第二次读取到的是 0。通过这个例子可以说明,即使管道关闭之后,也可以正常地从管道读取数据,没有数据时直接返回对应的空值(整型空值是 0,字符串空值是空字符串等)。

        最后一个问题,如果关闭未初始化的管道,会怎么样呢?或者说再次关闭已关闭的管道,会怎么样呢?参考上面 4 个程序,你也可以写两个简单的程序测试一下,这里我就直接给出答案了:如果管道未初始化,关闭管道会导致程序抛 panic 异常(异常提示信息为 close of nil channel); 如果管道已经被关闭,再次关闭管道也会导致程序抛 panic 异常(异常提示信息为 close of closed channel)。

 2. 管道与调度器

        管道的读写操作有可能会阻塞用户协程,并切换到调度器;而协程因管道而阻塞时,只有当其他协程再次读或写管道时,才有可能解除这个协程的阻塞状态。在介绍管道与调度器之间的联系之前,先思考一下:Go 语言如何维护因读写管道而阻塞的协程呢?有没有专门的阻塞协程队列呢?

        回顾一下网络 I/O 与调度器,因为读写套接字阻塞的协程,只有当 Go 语言检测到套接字可读、可写时,才能解除这个协程的阻塞状态。代表套接字的结构体 runtime.pollDesc 就保存了因读套接字以及写套接字而阻塞的协程,不然即使 Go 语言检测到套接字可读 / 可写,又怎么关联到对应的协程呢? 

        按照这个思路,我们是不是可以猜测,因读写管道而阻塞的协程是不是就维护在管道本身呢?不然,当其他协程再次读或写管道时,该如何去获取这些阻塞的协程呢?

        是不是这样呢?我们可以看一下管道的结构定义,代码如下所示:

type hchan struct {// 当前管道存储的元素数目qcount uint//管道容量dataqsiz uint//数组buf unsafe.Pointer//标识管道是否被关闭closed uint32//管道存储的元素类型与元素大小elemtype *_typeelemsize uint16//读/写 索引,循环队列sendx	uintrecvx	uint//读阻塞协程队列,写阻塞协程队列recvq 	waitqsendq	waitq// 锁lock mutex
}

管道的结构定义可以参考文件 runtime/chan.go 各字段含义如下。

1)qcount: 整数类型,表示管道已经存储的数据量。当 qcount 等于 0 时,说明管道没有数据可读,此时读管道会阻塞用户协程。

2)dataqsiz: 整数类型,表示管道的容量。当 qcount 等于 dataqsiz 时,说明管道已经没有剩余容量了,此时写管道会阻塞用户协程。

3)buf: 指针类型,指向一个数组,用于存储缓存在管道的数据,数组的容量等于 elemsize 乘以 dataqsiz 。

4)sendx/recvx: 管道本身维护了一个循环数据 buf, sendx 指向写索引位置,recvx 指向读索引位置。

5)lock: 用于锁定管道。管道用于多协程通信,通常是一个协程读管道,另外一个协程写管道,多个协程并发操作同一个数据时需要加锁。

        文件 runtime/chan.go 不仅定义了管道的数据类型,还包括了所有管道操作的实现函数,如初始化管道、读管道、写管道、关闭管道等实现函数。各函数定义如下:

// 初始化管道:size 就是 chan 容量
func makechan(t *chantype,size int) *hchan
//读管道:读取到的数据就存储在 ep 指针;block 表示如果管道不可读,是否阻塞协程
func chanrecv(c *hchan,ep unsafe.Pointer,block bool)
//写管道:待写入的数据就存储在 ep 指针;block 表示如果管道不可写,是否阻塞协程
func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr
//关闭管道
func closechan(c *hchan)

        我们以写管道的实现函数为例,学习写管道是如何阻塞用户协程的,又是如何切换到调度器的,以及是如何解除其他因读管道而阻塞的协程的,代码如下所示:

func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr) bool {//如果未初始化;如果 block 为 false,函数立即返回,否则永久阻塞协程if c == nil {if !block {return false}//切换到调度器gopark(nil,nil,waitReasonChanSendNilChan,traceEvGoStop,2)}//加锁lock(&c.lock)//如果已关闭,抛出 panic 异常if c.closed !=0 {unlock(&c.lock)panic(plainError("send on closed channel"))}//如果读协程队列不为空,则获取阻塞协程并解除该协程阻塞状态if sg := c.recvg.dequeue();sg != nil {send(c,sg,ep,func(){ unlock(&c.lock)},3)return true}//如果管道还有剩余容量,写数据if c.qcount < c.dataqsiz{.....}//如果 block 为 false,函数立即返回if !block {unlock(&c.lock)return false}// 添加到阻塞协程队列mysg := acquireSudog()mysg.elem = epmysg.g = gpc.sendq.enqueue(mysg)//切换到调度器gopark(chanparkcommit,unsafe.Pointer(&c.lock),waitReasonChanSend,traceEvGo-Blocksend,2)......return true
}

        参考上面的代码,函数 chansend 的主要流程如下:

第 1 步:如果管道未初始化,普通的写管道操作(这种情况下 block 等于 true) 会导致协程的永久性阻塞。

第 2 步:如果管道已经被关闭,写管道会导致程序抛出 panic 异常。

第 3 步:如果检测到读阻塞协程队列为空,则获取队首阻塞协程,并解除该协程的阻塞状态,这一操作同样基于 runtime.goready 函数实现,当然这里也只是将协程添加到了可运行协程队列等待调度器的调度执行,至此写管道操作就算完成了。

第 4 步:如果管道还有剩余容量,则将数据复制到循环队列后返回,注意需要更新管道数据 qcount 以及写索引位置 sendx。

第 5 步:如果 block 等于 false,返回 false,表示写管道失败。

第 6 步:执行到这里,说明需要阻塞当前协程,首先将其添加写阻塞协程队列,随后通过函数 runtime.gopark 切换到调度器,重新调度执行其他协程。

这篇关于深入理解 Go 语言并发编程--管道(channel) 的底层原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1100878

相关文章

深入理解C++ 空类大小

《深入理解C++空类大小》本文主要介绍了C++空类大小,规定空类大小为1字节,主要是为了保证对象的唯一性和可区分性,满足数组元素地址连续的要求,下面就来了解一下... 目录1. 保证对象的唯一性和可区分性2. 满足数组元素地址连续的要求3. 与C++的对象模型和内存管理机制相适配查看类对象内存在C++中,规

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

C语言线程池的常见实现方式详解

《C语言线程池的常见实现方式详解》本文介绍了如何使用C语言实现一个基本的线程池,线程池的实现包括工作线程、任务队列、任务调度、线程池的初始化、任务添加、销毁等步骤,感兴趣的朋友跟随小编一起看看吧... 目录1. 线程池的基本结构2. 线程池的实现步骤3. 线程池的核心数据结构4. 线程池的详细实现4.1 初

Go信号处理如何优雅地关闭你的应用

《Go信号处理如何优雅地关闭你的应用》Go中的优雅关闭机制使得在应用程序接收到终止信号时,能够进行平滑的资源清理,通过使用context来管理goroutine的生命周期,结合signal... 目录1. 什么是信号处理?2. 如何优雅地关闭 Go 应用?3. 代码实现3.1 基本的信号捕获和优雅关闭3.2

C#反射编程之GetConstructor()方法解读

《C#反射编程之GetConstructor()方法解读》C#中Type类的GetConstructor()方法用于获取指定类型的构造函数,该方法有多个重载版本,可以根据不同的参数获取不同特性的构造函... 目录C# GetConstructor()方法有4个重载以GetConstructor(Type[]

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

hdu4407(容斥原理)

题意:给一串数字1,2,......n,两个操作:1、修改第k个数字,2、查询区间[l,r]中与n互质的数之和。 解题思路:咱一看,像线段树,但是如果用线段树做,那么每个区间一定要记录所有的素因子,这样会超内存。然后我就做不来了。后来看了题解,原来是用容斥原理来做的。还记得这道题目吗?求区间[1,r]中与p互质的数的个数,如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码: 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口,https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor