【Go】Goroutine 池

2024-01-23 04:59
文章标签 go goroutine

本文主要是介绍【Go】Goroutine 池,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、为什么需要 Goroutine 池?
  • 二、Goroutine 池是什么?
  • 三、怎么实现 Goroutine 池?
    • 1. Goroutine 池只是一个抽象的概念
    • 2. Goroutine 池的设计思路
    • 3. 生产者消费者模型
  • 四、一个实现 Goroutine 池的实例
  • 五、一个 Goroutine 池的实践 —— ants
  • 六、总结
  • 参考链接


一、为什么需要 Goroutine 池?

试想这样一种情况,如果给每个客户端都分配一个 session 来维护连接,然后每个 session 会启动3个 goroutine,一个用来读取消息,一个用来发送消息,一个用来检测生命周期。那么,当大量客户端连接时,那 goroutine 数量就是3倍客户端的数量啊。即使 goroutine 再轻量,几百万的客户都涌上来的时候,内存也绷不住啊。

golang 号称可以百万级别并发,但 goroutine 也不应该无限制的创建吧,毕竟每次都向系统申请内存,系统内存总有耗尽的一天吧。那有没有一个池一样的东西,可以让 goroutine 可以重用,而不需要不节制的创建呢?

也就是说,有什么方案可以减缓大规模 Goroutine 对系统的调度和内存压力?要想解决问题,最重要的是找到造成问题的根源,这个问题根源是什么?Goroutine 的数量过多导致资源侵占,那要解决这个问题就要限制运行的 Goroutine 数量,合理复用,节省资源,具体就是 — Goroutine池化。

这就诞生了 Goroutine 池的概念。Goroutine 池不是 golang 官方给出的一个概念,而是程序员在实践中发现存在上述问题而给出的一种用于解决使用 goroutine 时所产生的实际问题的思路。

试想,Goroutine 池中预先保存一定数量的 Goroutine ,而新任务将不再以创建新 Goroutine 的方式去执行,而是将任务发布到任务队列,Goroutine 池中的 Goroutine 不断的从任务队列中取出任务并执行,可以有效的减少 Goroutine 创建和销毁所带来的开销。

总结一下为什么要实现 Goroutine 池:

  • 即便每个goroutine只分配4KB的内存,但如果是恐怖如斯的数量,聚少成多,内存会占用过高。
  • 会对GC造成极大的负担,首先GC会在回收 goroutine 上消耗性能,其次GC本身也是 goroutine ,内存吃紧的状态下连GC的调度都会出现问题。
  • 提高响应速度,减少创建协程的时间。
  • 更好的管理协程,控制最大并发数量,定期回收。

二、Goroutine 池是什么?

  1. Goroutine 池是一个池子,里面有一些 Goroutine 。
  2. 这个池子有一个最大容量,其内部的 Goroutine 数量不能超过其最大容量。
  3. 可以将池子中的每个 Goroutine 看作是一个 worker ,用于执行任务。

更准确的说,Goroutine 池是一个架构。该架构由两部分组成:

  1. 一个池子,里面有一些 Goroutine 。
  2. 一个任务队列,里面放着给池子里的 Goroutine 执行的任务。

新来了一个任务,如果池子存满了 Goroutine ,而且它们都在工作,那么就将该任务放入任务队列,等待被处理;
如果池子没满,就新开一个 Goroutine 去处理该任务。


三、怎么实现 Goroutine 池?

1. Goroutine 池只是一个抽象的概念

Golang 没有封装好的线程池。

Goroutine 池只是一个概念,需要我们自己写代码时有意识地实现 Goroutine 池。

2. Goroutine 池的设计思路

  1. 启动服务的时候初始化一个 Goroutine Pool,这个协程池维护了 任务的管道worker(也就是 Goroutine)。
  2. 外部将请求投递到 Goroutine Pool,Goroutine Pool 的操作是:判断当前运行的 worker 是否已经超过 Pool 的容量,如果超过就将请求放到任务管道中直到运行的 worker 将管道中的任务执行;如果没有超过就新开一个 worker 处理。

3. 生产者消费者模型

在这个 投递 —> 等待 —> 执行 的过程中,我们很容易想到生产者消费者模型:

生产者 --(生产任务)–> 队列 --(消费任务)–> 消费者

实际上,用来执行任务的 goroutine 就是消费者,操作任务池的 goroutine 就是生产者, 而队列则可以使用 go 的 buffer channel,至此,任务池的建模到此结束。


四、一个实现 Goroutine 池的实例

题目:

  1. 计算一个数字的各个位数之和,例如数字123,结果为1+2+3=6。
  2. 随机生成数字进行计算。
package mainimport ("fmt""math/rand"
)type Job struct { //任务// idId int// 需要计算的随机数RandNum int
}type Result struct { //结果// 这里必须传对象实例job *Job// 求和sum int
}func main() {// 需要2个管道// 任务管道jobChan := make(chan *Job, 128)// 结果管道resultChan := make(chan *Result, 128)// 工作池(goroutine池)createPool(64, jobChan, resultChan) //工作池中有64个Goroutine在工作// 负责打印的协程go func(resultChan chan *Result) {// 遍历结果管道,进行打印for result := range resultChan { //从通道resultChan接收值fmt.Printf("job id:%v randnum:%v result:%d\n", result.job.Id,result.job.RandNum, result.sum)}}(resultChan) //给函数传入参数,立即执行//主协程var id int// 循环创建job,输入到管道for {id++// 生成随机数r_num := rand.Int()job := &Job{Id:      id,RandNum: r_num,}jobChan <- job}
}// 函数createPool:创建工作池
// 工作池里的Goroutine负责计算从jobChan取数字,然后计算各位之和,再输出到resultChan
func createPool(num int, jobChan chan *Job, resultChan chan *Result) {// 开 num 个协程,做计算工作for i := 0; i < num; i++ {go func(jobChan chan *Job, resultChan chan *Result) {// 执行运算// 遍历job管道所有数据,进行相加for job := range jobChan {// 随机数接过来r_num := job.RandNum //读取随机数// 随机数每一位相加// 定义返回值var sum intfor r_num != 0 {tmp := r_num % 10sum += tmpr_num /= 10}// 想要的结果是Resultr := &Result{job: job,sum: sum,}//运算结果扔到管道resultChan <- r}}(jobChan, resultChan)}
}

输出结果的冰山一角:

job id:62596 randnum:3542998448878732054 result:100
job id:62597 randnum:1412622303680101805 result:53
job id:62598 randnum:2405699357934002636 result:83
job id:62599 randnum:729922549175030513 result:74
job id:62600 randnum:8887708274878274993 result:116
job id:62601 randnum:5826041766204926306 result:77
job id:62602 randnum:5892735228296506585 result:97
job id:62603 randnum:5715834663741984020 result:83
job id:62604 randnum:3141293823040601058 result:60
job id:62605 randnum:8841672571116882462 result:87
job id:62606 randnum:3482484307097615774 result:89
job id:62607 randnum:8196261471617693666 result:95
job id:62608 randnum:8692192048687145566 result:97
job id:62609 randnum:2639146648002715963 result:82
job id:62610 randnum:3323717745941790047 result:83
job id:62611 randnum:7567210708242192793 result:82

解释:

如上图,本程序由两个协程、一个协程池、两个管道构成。

job 协程不断产生任务,然后放入 jobchan 任务队列;协程池中有64个协程,不断地从任务队列 jobchan 中取任务来执行,将结果放入 resultchan 任务队列;printf 协程从 resultchan 任务队列中取出结果来进行打印。

其中,我们可以看到两对生产者消费者:job 协程和协程池是一对生产者消费者,协程池和printf 协程也是一对生产者消费者。

说明:
在这个例子中,两个管道和协程池可以理解为 “Goroutine 池”。
它的作用是一直在用有限的 Goroutine 数量进行一项无限的工作。

试想,如果没有这两个管道和协程池:
job 协程一直在产生任务,来一个任务就要创建一个协程计算它…那将是无数个协程…


五、一个 Goroutine 池的实践 —— ants

项目地址:ants

阿里云的推荐文:推荐很好用的Goroutine连接池


六、总结

worker pool(goroutine池):

  1. 本质上是生产者消费者模型
  2. 可以有效控制 goroutine 数量,防止暴涨

参考链接

  1. Goroutine池
  2. golang 的goroutine池(线程池)
  3. Goroutine池实现
  4. [go 语言]go goroutine调度机制 && goroutine池
  5. 大佬的文章值得细读:Goroutine并发调度模型深度解析之手撸一个高性能Goroutine池

这篇关于【Go】Goroutine 池的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/635301

相关文章

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO

go中空接口的具体使用

《go中空接口的具体使用》空接口是一种特殊的接口类型,它不包含任何方法,本文主要介绍了go中空接口的具体使用,具有一定的参考价值,感兴趣的可以了解一下... 目录接口-空接口1. 什么是空接口?2. 如何使用空接口?第一,第二,第三,3. 空接口几个要注意的坑坑1:坑2:坑3:接口-空接口1. 什么是空接

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

Golang基于内存的键值存储缓存库go-cache

《Golang基于内存的键值存储缓存库go-cache》go-cache是一个内存中的key:valuestore/cache库,适用于单机应用程序,本文主要介绍了Golang基于内存的键值存储缓存库... 目录文档安装方法示例1示例2使用注意点优点缺点go-cache 和 Redis 缓存对比1)功能特性

Go 1.23中Timer无buffer的实现方式详解

《Go1.23中Timer无buffer的实现方式详解》在Go1.23中,Timer的实现通常是通过time包提供的time.Timer类型来实现的,本文主要介绍了Go1.23中Timer无buff... 目录Timer 的基本实现无缓冲区的实现自定义无缓冲 Timer 实现更复杂的 Timer 实现总结在

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C

使用Go语言开发一个命令行文件管理工具

《使用Go语言开发一个命令行文件管理工具》这篇文章主要为大家详细介绍了如何使用Go语言开发一款命令行文件管理工具,支持批量重命名,删除,创建,移动文件,需要的小伙伴可以了解下... 目录一、工具功能一览二、核心代码解析1. 主程序结构2. 批量重命名3. 批量删除4. 创建文件/目录5. 批量移动三、如何安

Go路由注册方法详解

《Go路由注册方法详解》Go语言中,http.NewServeMux()和http.HandleFunc()是两种不同的路由注册方式,前者创建独立的ServeMux实例,适合模块化和分层路由,灵活性高... 目录Go路由注册方法1. 路由注册的方式2. 路由器的独立性3. 灵活性4. 启动服务器的方式5.

Go语言中三种容器类型的数据结构详解

《Go语言中三种容器类型的数据结构详解》在Go语言中,有三种主要的容器类型用于存储和操作集合数据:本文主要介绍三者的使用与区别,感兴趣的小伙伴可以跟随小编一起学习一下... 目录基本概念1. 数组(Array)2. 切片(Slice)3. 映射(Map)对比总结注意事项基本概念在 Go 语言中,有三种主要