Golang GMP调度模型:实现高效协程调度和执行

2023-10-20 02:20

本文主要是介绍Golang GMP调度模型:实现高效协程调度和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

Go语言(Golang)是一种开源的高性能编程语言,它以其独特的并发模型而闻名。Golang引入了一种称为GMP的调度模型,用于实现协程的高效调度和执行。本文将深入探讨Golang GMP调度模型的概念、用法、适用场景,并通过案例分析来展示其在实际应用中的优势。通过阅读本文,读者将更好地理解Golang的协程调度机制,并能够编写高效的并发程序。

概念

GMP调度模型是Golang并发编程模型的核心之一,它由三个关键组件组成:Goroutine(G)、M(Machine)和P(Processor)。Goroutine是Golang中的轻量级线程,每个协程代表一个并发执行的任务。M代表操作系统线程,负责实际执行Goroutine。P代表处理器,维护一组协程的运行队列。

用法

Golang的调度器是由运行时系统自动管理的,开发者无需手动控制协程的调度和执行。通过关键字go,开发者可以创建协程,并编写相应的逻辑。调度器会根据运行时系统的策略来实现协程的调度和执行。当一个Goroutine被创建时,它会被放入全局运行队列中。当一个M变为可运行状态时,它会从全局运行队列中获取一个可运行的Goroutine,并将其绑定到自己的线程上执行。如此循环,实现了高效的协程调度和执行。

package mainimport "fmt"func main() {go func() {fmt.Println("Hello, World!")}()// 等待协程执行完成// ...
}

场景

Golang的GMP调度模型非常适用于高并发和高吞吐量的场景。它能够自动均衡地分配Goroutine的执行,使得多个线程和处理器能够充分利用资源,提高程序的并发性能。特别在I/O密集型和并行计算的应用中,GMP模型能够充分发挥其优势。

案例

假设我们有一个网络爬虫程序,需要并发地从多个网站上爬取数据。传统的实现方式是使用多线程,但是线程的创建和销毁开销较大,容易造成资源浪费。通过使用Golang的GMP调度模型,我们可以优雅地解决这个问题。

首先,我们创建一个Goroutine来执行爬取网站的任务。这个Goroutine会将获取到的数据发送到一个通道中。我们同时创建多个Goroutine来处理这个通道中的数据。

当一个Goroutine在爬取网站时,如果发生了阻塞(比如等待I/O),调度器会将其从当前线程解绑,并将其放入等待队列中。这时,该线程可以执行其他可运行的Goroutine,以充分利用计算资源。

当一个阻塞的Goroutine变为可运行状态时(比如I/O操作完成),它会重新被放入全局运行队列中,等待被分配给某个可用的M执行。这样,我们可以实现高效的并发爬取,并充分利用系统的资源。

package mainimport ("fmt""net/http""io/ioutil""sync"
)func main() {urls := []string{"http://example.com", "http://example.org", "http://example.net"}var wg sync.WaitGroupfor _, url := range urls {wg.Add(1)go func(u string) {defer wg.Done()resp, err := http.Get(u)if err != nil {fmt.Println("Error:", err)return}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Println("Error:", err)return}fmt.Printf("Response from %s: %s\n", u, body)}(url)}wg.Wait()
}

案例一:并发计算

假设我们有一个需要计算大量数值的任务,我们可以使用Golang的GMP调度模型来实现并发计算,提高计算效率。

package mainimport ("fmt""sync"
)func main() {numbers := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}var wg sync.WaitGroupfor _, num := range numbers {wg.Add(1)go func(n int) {defer wg.Done()result := n * nfmt.Printf("Square of %d is %d\n", n, result)}(num)}wg.Wait()
}

在上述例子中,我们创建了一个包含10个数值的切片。然后,我们使用sync.WaitGroup来同步并发计算任务的完成。对于每个数值,我们创建一个Goroutine来执行计算操作。每个Goroutine计算完毕后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

案例二:并发网络请求

假设我们需要从多个URL中获取数据,我们可以使用Golang的GMP调度模型来实现并发网络请求,提高获取数据的效率。

package mainimport ("fmt""io/ioutil""net/http""sync"
)func main() {urls := []string{"http://example.com", "http://example.org", "http://example.net"}var wg sync.WaitGroupfor _, url := range urls {wg.Add(1)go func(u string) {defer wg.Done()resp, err := http.Get(u)if err != nil {fmt.Printf("Error fetching %s: %v\n", u, err)return}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Printf("Error reading response body from %s: %v\n", u, err)return}fmt.Printf("Response from %s: %s\n", u, body)}(url)}wg.Wait()
}

在上述例子中,我们创建了一个包含3个URL的切片。然后,我们使用sync.WaitGroup来同步并发网络请求任务的完成。对于每个URL,我们创建一个Goroutine来执行网络请求操作。每个Goroutine完成请求后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

案例三:并发文件处理

假设我们有一个包含多个文件名的切片,我们可以使用Golang的GMP调度模型来并发地处理这些文件,提高文件处理的效率。

package mainimport ("fmt""io/ioutil""sync"
)func main() {files := []string{"file1.txt", "file2.txt", "file3.txt"}var wg sync.WaitGroupfor _, file := range files {wg.Add(1)go func(f string) {defer wg.Done()data, err := ioutil.ReadFile(f)if err != nil {fmt.Printf("Error reading file %s: %v\n", f, err)return}fmt.Printf("Contents of %s:\n%s\n", f, data)}(file)}wg.Wait()
}

在上述例子中,我们创建了一个包含3个文件名的切片。然后,我们使用sync.WaitGroup来同步并发文件处理任务的完成。对于每个文件名,我们创建一个Goroutine来执行文件处理操作。每个Goroutine完成处理后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

通过以上三个案例,我们可以看到Golang的GMP调度模型在并发计算、并发网络请求和并发文件处理等场景下的优势。使用Golang的协程和调度器,我们可以编写高效的并发程序。

总结

Golang的GMP调度模型是实现高效协程调度和执行的核心机制。通过合理利用Goroutine、M和P的关系,调度器能够自动均衡地分配协程的执行,提高程序的并发性能。GMP模型适用于高并发和高吞吐量的场景,特别适合于I/O密集型和并行计算的应用。通过本文的介绍,读者可以更好地理解Golang的协程调度机制,并能够编写高效的并发程序。

这篇关于Golang GMP调度模型:实现高效协程调度和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243978

相关文章

golang版本升级如何实现

《golang版本升级如何实现》:本文主要介绍golang版本升级如何实现问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录golanwww.chinasem.cng版本升级linux上golang版本升级删除golang旧版本安装golang最新版本总结gola

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

golang中reflect包的常用方法

《golang中reflect包的常用方法》Go反射reflect包提供类型和值方法,用于获取类型信息、访问字段、调用方法等,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录reflect包方法总结类型 (Type) 方法值 (Value) 方法reflect包方法总结

MySQL中查找重复值的实现

《MySQL中查找重复值的实现》查找重复值是一项常见需求,比如在数据清理、数据分析、数据质量检查等场景下,我们常常需要找出表中某列或多列的重复值,具有一定的参考价值,感兴趣的可以了解一下... 目录技术背景实现步骤方法一:使用GROUP BY和HAVING子句方法二:仅返回重复值方法三:返回完整记录方法四:

IDEA中新建/切换Git分支的实现步骤

《IDEA中新建/切换Git分支的实现步骤》本文主要介绍了IDEA中新建/切换Git分支的实现步骤,通过菜单创建新分支并选择是否切换,创建后在Git详情或右键Checkout中切换分支,感兴趣的可以了... 前提:项目已被Git托管1、点击上方栏Git->NewBrancjsh...2、输入新的分支的

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》:本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互