深入理解 Go 语言并发编程--管道(channel) 的底层原理

2024-08-24 00:04

本文主要是介绍深入理解 Go 语言并发编程--管道(channel) 的底层原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

        管道是 Go 语言协程间通信的一种常用手段,管道的读写操作也有可能会阻塞用户协程,也就是说有可能会切换到调度器。协程因为管道而阻塞时,只有当其他协程再次读或者写管道时,才有可能解除这个协程的阻塞状态。

1. 管道的基本用法

        管道是 Go 语言协程间通信的一种常用手段,可以分为无缓冲管道和有缓冲管道。因为无缓冲管道本身没有容量,不能缓存数据,所以只有当协程在等待读时,写操作才不会阻塞协程;或者当有协程在等待写时,读操作才不会阻塞协程。因为有缓冲管道本身有一定容量,可以缓存一定数据,所以当协跑第一执行写操作时,即使没有其他协程在等待读,只要管道还有剩余容量,写操作就不会阻塞协程;或者当协程执行读操作时,即使没有其他协程在等待写,只要管道还有剩余数据,读操作就不会阻塞协程。

        下面写一个简单的 Go 程序,学习管道的基本用法,代码如下所示:

package mainimport ("fmt""time"
)func main() {queue := make(chan int, 1)go func() {for {data := <-queue     //读取fmt.Print(data, "") //0 1 2 3 4 5 6 7 8 9}}()for i := 0; i < 10; i++ {queue <- i //写入}time.Sleep(time.Second)
}

        参考上面代码,主协程循环向管道写入整数,子协程循环从管道读取数据。主协程休眠 1s 是为了防止主协程结束,整个 Go 程序退出,导致子协程也提前结束。函数 make 用于初始化 Go 语言的一些内置类型,如切片 slice、散列列 map 以及管道 chan。注意用函数 make 初始化时,第一个参数 chan int 表示管道只能用来传递整型数据,第二个参数表示管道的容量是 1,即最多只能缓存一个整型数据。

        管道的操作还是比较简单的,无非就是读、写以及关闭操作。这里提出一个问题,如果程序没有初始化管道,却执行读或者写操作会发生什么呢?或者说,如果一个管道已经被关闭了,这时候执行读或者写操作会发生什么呢?我们写一些简单的 Go 程序测试一下。

        第 1 个程序:不初始化管道,直接执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intqueue <- 100fmt.Println("main end")
}

        运行上面的程序,竟然报错了,提示 all goroutines are asleep,意思是所有的协程都在休眠,程序死锁了。为什么所有的协程都在休眠呢?其实是由主协程向未初始化的管道写数据导致的,也就是说,向未初始化的管道写数据会导致协程永久性阻塞。

        第 2 个程序:不初始化管道,直接执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {var queue chan intdata := <-queuefmt.Println("main end",data)
}

        可以看到,第 2 个程序的运行结果与第 1 个程序一致,主协程同样被阻塞了,即从未初始化的管道读数据也会导致协程的永久性阻塞。

第 3 个程序: 关闭管道之后,再执行写操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)close(queue)queue <- 100fmt.Println("main end")
}

第 4 个程序:关闭管道之后,再执行读操作,代码与运行结果如下所示:

package mainimport ("fmt"
)func main() {queue := make(chan int, 1)queue <- 100close(queue)data1 := <-queuefmt.Println("main end1", data1)data2 := <-queuefmt.Println("main end2", data2)
}

        我们先向管道写入一个整型数据 100,再关闭管道,随后从管道读取两次数据。参考上面的输出结果,程序输出了两条语句,第一次正常读取到了数据 100,第二次读取到的是 0。通过这个例子可以说明,即使管道关闭之后,也可以正常地从管道读取数据,没有数据时直接返回对应的空值(整型空值是 0,字符串空值是空字符串等)。

        最后一个问题,如果关闭未初始化的管道,会怎么样呢?或者说再次关闭已关闭的管道,会怎么样呢?参考上面 4 个程序,你也可以写两个简单的程序测试一下,这里我就直接给出答案了:如果管道未初始化,关闭管道会导致程序抛 panic 异常(异常提示信息为 close of nil channel); 如果管道已经被关闭,再次关闭管道也会导致程序抛 panic 异常(异常提示信息为 close of closed channel)。

 2. 管道与调度器

        管道的读写操作有可能会阻塞用户协程,并切换到调度器;而协程因管道而阻塞时,只有当其他协程再次读或写管道时,才有可能解除这个协程的阻塞状态。在介绍管道与调度器之间的联系之前,先思考一下:Go 语言如何维护因读写管道而阻塞的协程呢?有没有专门的阻塞协程队列呢?

        回顾一下网络 I/O 与调度器,因为读写套接字阻塞的协程,只有当 Go 语言检测到套接字可读、可写时,才能解除这个协程的阻塞状态。代表套接字的结构体 runtime.pollDesc 就保存了因读套接字以及写套接字而阻塞的协程,不然即使 Go 语言检测到套接字可读 / 可写,又怎么关联到对应的协程呢? 

        按照这个思路,我们是不是可以猜测,因读写管道而阻塞的协程是不是就维护在管道本身呢?不然,当其他协程再次读或写管道时,该如何去获取这些阻塞的协程呢?

        是不是这样呢?我们可以看一下管道的结构定义,代码如下所示:

type hchan struct {// 当前管道存储的元素数目qcount uint//管道容量dataqsiz uint//数组buf unsafe.Pointer//标识管道是否被关闭closed uint32//管道存储的元素类型与元素大小elemtype *_typeelemsize uint16//读/写 索引,循环队列sendx	uintrecvx	uint//读阻塞协程队列,写阻塞协程队列recvq 	waitqsendq	waitq// 锁lock mutex
}

管道的结构定义可以参考文件 runtime/chan.go 各字段含义如下。

1)qcount: 整数类型,表示管道已经存储的数据量。当 qcount 等于 0 时,说明管道没有数据可读,此时读管道会阻塞用户协程。

2)dataqsiz: 整数类型,表示管道的容量。当 qcount 等于 dataqsiz 时,说明管道已经没有剩余容量了,此时写管道会阻塞用户协程。

3)buf: 指针类型,指向一个数组,用于存储缓存在管道的数据,数组的容量等于 elemsize 乘以 dataqsiz 。

4)sendx/recvx: 管道本身维护了一个循环数据 buf, sendx 指向写索引位置,recvx 指向读索引位置。

5)lock: 用于锁定管道。管道用于多协程通信,通常是一个协程读管道,另外一个协程写管道,多个协程并发操作同一个数据时需要加锁。

        文件 runtime/chan.go 不仅定义了管道的数据类型,还包括了所有管道操作的实现函数,如初始化管道、读管道、写管道、关闭管道等实现函数。各函数定义如下:

// 初始化管道:size 就是 chan 容量
func makechan(t *chantype,size int) *hchan
//读管道:读取到的数据就存储在 ep 指针;block 表示如果管道不可读,是否阻塞协程
func chanrecv(c *hchan,ep unsafe.Pointer,block bool)
//写管道:待写入的数据就存储在 ep 指针;block 表示如果管道不可写,是否阻塞协程
func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr
//关闭管道
func closechan(c *hchan)

        我们以写管道的实现函数为例,学习写管道是如何阻塞用户协程的,又是如何切换到调度器的,以及是如何解除其他因读管道而阻塞的协程的,代码如下所示:

func chansend(c *hchan,ep unsafe.Pointer,block bool,callerpc uintptr) bool {//如果未初始化;如果 block 为 false,函数立即返回,否则永久阻塞协程if c == nil {if !block {return false}//切换到调度器gopark(nil,nil,waitReasonChanSendNilChan,traceEvGoStop,2)}//加锁lock(&c.lock)//如果已关闭,抛出 panic 异常if c.closed !=0 {unlock(&c.lock)panic(plainError("send on closed channel"))}//如果读协程队列不为空,则获取阻塞协程并解除该协程阻塞状态if sg := c.recvg.dequeue();sg != nil {send(c,sg,ep,func(){ unlock(&c.lock)},3)return true}//如果管道还有剩余容量,写数据if c.qcount < c.dataqsiz{.....}//如果 block 为 false,函数立即返回if !block {unlock(&c.lock)return false}// 添加到阻塞协程队列mysg := acquireSudog()mysg.elem = epmysg.g = gpc.sendq.enqueue(mysg)//切换到调度器gopark(chanparkcommit,unsafe.Pointer(&c.lock),waitReasonChanSend,traceEvGo-Blocksend,2)......return true
}

        参考上面的代码,函数 chansend 的主要流程如下:

第 1 步:如果管道未初始化,普通的写管道操作(这种情况下 block 等于 true) 会导致协程的永久性阻塞。

第 2 步:如果管道已经被关闭,写管道会导致程序抛出 panic 异常。

第 3 步:如果检测到读阻塞协程队列为空,则获取队首阻塞协程,并解除该协程的阻塞状态,这一操作同样基于 runtime.goready 函数实现,当然这里也只是将协程添加到了可运行协程队列等待调度器的调度执行,至此写管道操作就算完成了。

第 4 步:如果管道还有剩余容量,则将数据复制到循环队列后返回,注意需要更新管道数据 qcount 以及写索引位置 sendx。

第 5 步:如果 block 等于 false,返回 false,表示写管道失败。

第 6 步:执行到这里,说明需要阻塞当前协程,首先将其添加写阻塞协程队列,随后通过函数 runtime.gopark 切换到调度器,重新调度执行其他协程。

这篇关于深入理解 Go 语言并发编程--管道(channel) 的底层原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1100878

相关文章

python使用fastapi实现多语言国际化的操作指南

《python使用fastapi实现多语言国际化的操作指南》本文介绍了使用Python和FastAPI实现多语言国际化的操作指南,包括多语言架构技术栈、翻译管理、前端本地化、语言切换机制以及常见陷阱和... 目录多语言国际化实现指南项目多语言架构技术栈目录结构翻译工作流1. 翻译数据存储2. 翻译生成脚本

Go路由注册方法详解

《Go路由注册方法详解》Go语言中,http.NewServeMux()和http.HandleFunc()是两种不同的路由注册方式,前者创建独立的ServeMux实例,适合模块化和分层路由,灵活性高... 目录Go路由注册方法1. 路由注册的方式2. 路由器的独立性3. 灵活性4. 启动服务器的方式5.

Go语言中三种容器类型的数据结构详解

《Go语言中三种容器类型的数据结构详解》在Go语言中,有三种主要的容器类型用于存储和操作集合数据:本文主要介绍三者的使用与区别,感兴趣的小伙伴可以跟随小编一起学习一下... 目录基本概念1. 数组(Array)2. 切片(Slice)3. 映射(Map)对比总结注意事项基本概念在 Go 语言中,有三种主要

Go Mongox轻松实现MongoDB的时间字段自动填充

《GoMongox轻松实现MongoDB的时间字段自动填充》这篇文章主要为大家详细介绍了Go语言如何使用mongox库,在插入和更新数据时自动填充时间字段,从而提升开发效率并减少重复代码,需要的可以... 目录前言时间字段填充规则Mongox 的安装使用 Mongox 进行插入操作使用 Mongox 进行更

C语言中自动与强制转换全解析

《C语言中自动与强制转换全解析》在编写C程序时,类型转换是确保数据正确性和一致性的关键环节,无论是隐式转换还是显式转换,都各有特点和应用场景,本文将详细探讨C语言中的类型转换机制,帮助您更好地理解并在... 目录类型转换的重要性自动类型转换(隐式转换)强制类型转换(显式转换)常见错误与注意事项总结与建议类型

MySQL中的MVCC底层原理解读

《MySQL中的MVCC底层原理解读》本文详细介绍了MySQL中的多版本并发控制(MVCC)机制,包括版本链、ReadView以及在不同事务隔离级别下MVCC的工作原理,通过一个具体的示例演示了在可重... 目录简介ReadView版本链演示过程总结简介MVCC(Multi-Version Concurr

Go语言利用泛型封装常见的Map操作

《Go语言利用泛型封装常见的Map操作》Go语言在1.18版本中引入了泛型,这是Go语言发展的一个重要里程碑,它极大地增强了语言的表达能力和灵活性,本文将通过泛型实现封装常见的Map操作,感... 目录什么是泛型泛型解决了什么问题Go泛型基于泛型的常见Map操作代码合集总结什么是泛型泛型是一种编程范式,允

C#多线程编程中导致死锁的常见陷阱和避免方法

《C#多线程编程中导致死锁的常见陷阱和避免方法》在C#多线程编程中,死锁(Deadlock)是一种常见的、令人头疼的错误,死锁通常发生在多个线程试图获取多个资源的锁时,导致相互等待对方释放资源,最终形... 目录引言1. 什么是死锁?死锁的典型条件:2. 导致死锁的常见原因2.1 锁的顺序问题错误示例:不同

深入解析Spring TransactionTemplate 高级用法(示例代码)

《深入解析SpringTransactionTemplate高级用法(示例代码)》TransactionTemplate是Spring框架中一个强大的工具,它允许开发者以编程方式控制事务,通过... 目录1. TransactionTemplate 的核心概念2. 核心接口和类3. TransactionT

深入理解Apache Airflow 调度器(最新推荐)

《深入理解ApacheAirflow调度器(最新推荐)》ApacheAirflow调度器是数据管道管理系统的关键组件,负责编排dag中任务的执行,通过理解调度器的角色和工作方式,正确配置调度器,并... 目录什么是Airflow 调度器?Airflow 调度器工作机制配置Airflow调度器调优及优化建议最