Golang GMP调度模型:实现高效协程调度和执行

2023-10-20 02:20

本文主要是介绍Golang GMP调度模型:实现高效协程调度和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

Go语言(Golang)是一种开源的高性能编程语言,它以其独特的并发模型而闻名。Golang引入了一种称为GMP的调度模型,用于实现协程的高效调度和执行。本文将深入探讨Golang GMP调度模型的概念、用法、适用场景,并通过案例分析来展示其在实际应用中的优势。通过阅读本文,读者将更好地理解Golang的协程调度机制,并能够编写高效的并发程序。

概念

GMP调度模型是Golang并发编程模型的核心之一,它由三个关键组件组成:Goroutine(G)、M(Machine)和P(Processor)。Goroutine是Golang中的轻量级线程,每个协程代表一个并发执行的任务。M代表操作系统线程,负责实际执行Goroutine。P代表处理器,维护一组协程的运行队列。

用法

Golang的调度器是由运行时系统自动管理的,开发者无需手动控制协程的调度和执行。通过关键字go,开发者可以创建协程,并编写相应的逻辑。调度器会根据运行时系统的策略来实现协程的调度和执行。当一个Goroutine被创建时,它会被放入全局运行队列中。当一个M变为可运行状态时,它会从全局运行队列中获取一个可运行的Goroutine,并将其绑定到自己的线程上执行。如此循环,实现了高效的协程调度和执行。

package mainimport "fmt"func main() {go func() {fmt.Println("Hello, World!")}()// 等待协程执行完成// ...
}

场景

Golang的GMP调度模型非常适用于高并发和高吞吐量的场景。它能够自动均衡地分配Goroutine的执行,使得多个线程和处理器能够充分利用资源,提高程序的并发性能。特别在I/O密集型和并行计算的应用中,GMP模型能够充分发挥其优势。

案例

假设我们有一个网络爬虫程序,需要并发地从多个网站上爬取数据。传统的实现方式是使用多线程,但是线程的创建和销毁开销较大,容易造成资源浪费。通过使用Golang的GMP调度模型,我们可以优雅地解决这个问题。

首先,我们创建一个Goroutine来执行爬取网站的任务。这个Goroutine会将获取到的数据发送到一个通道中。我们同时创建多个Goroutine来处理这个通道中的数据。

当一个Goroutine在爬取网站时,如果发生了阻塞(比如等待I/O),调度器会将其从当前线程解绑,并将其放入等待队列中。这时,该线程可以执行其他可运行的Goroutine,以充分利用计算资源。

当一个阻塞的Goroutine变为可运行状态时(比如I/O操作完成),它会重新被放入全局运行队列中,等待被分配给某个可用的M执行。这样,我们可以实现高效的并发爬取,并充分利用系统的资源。

package mainimport ("fmt""net/http""io/ioutil""sync"
)func main() {urls := []string{"http://example.com", "http://example.org", "http://example.net"}var wg sync.WaitGroupfor _, url := range urls {wg.Add(1)go func(u string) {defer wg.Done()resp, err := http.Get(u)if err != nil {fmt.Println("Error:", err)return}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Println("Error:", err)return}fmt.Printf("Response from %s: %s\n", u, body)}(url)}wg.Wait()
}

案例一:并发计算

假设我们有一个需要计算大量数值的任务,我们可以使用Golang的GMP调度模型来实现并发计算,提高计算效率。

package mainimport ("fmt""sync"
)func main() {numbers := []int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}var wg sync.WaitGroupfor _, num := range numbers {wg.Add(1)go func(n int) {defer wg.Done()result := n * nfmt.Printf("Square of %d is %d\n", n, result)}(num)}wg.Wait()
}

在上述例子中,我们创建了一个包含10个数值的切片。然后,我们使用sync.WaitGroup来同步并发计算任务的完成。对于每个数值,我们创建一个Goroutine来执行计算操作。每个Goroutine计算完毕后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

案例二:并发网络请求

假设我们需要从多个URL中获取数据,我们可以使用Golang的GMP调度模型来实现并发网络请求,提高获取数据的效率。

package mainimport ("fmt""io/ioutil""net/http""sync"
)func main() {urls := []string{"http://example.com", "http://example.org", "http://example.net"}var wg sync.WaitGroupfor _, url := range urls {wg.Add(1)go func(u string) {defer wg.Done()resp, err := http.Get(u)if err != nil {fmt.Printf("Error fetching %s: %v\n", u, err)return}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Printf("Error reading response body from %s: %v\n", u, err)return}fmt.Printf("Response from %s: %s\n", u, body)}(url)}wg.Wait()
}

在上述例子中,我们创建了一个包含3个URL的切片。然后,我们使用sync.WaitGroup来同步并发网络请求任务的完成。对于每个URL,我们创建一个Goroutine来执行网络请求操作。每个Goroutine完成请求后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

案例三:并发文件处理

假设我们有一个包含多个文件名的切片,我们可以使用Golang的GMP调度模型来并发地处理这些文件,提高文件处理的效率。

package mainimport ("fmt""io/ioutil""sync"
)func main() {files := []string{"file1.txt", "file2.txt", "file3.txt"}var wg sync.WaitGroupfor _, file := range files {wg.Add(1)go func(f string) {defer wg.Done()data, err := ioutil.ReadFile(f)if err != nil {fmt.Printf("Error reading file %s: %v\n", f, err)return}fmt.Printf("Contents of %s:\n%s\n", f, data)}(file)}wg.Wait()
}

在上述例子中,我们创建了一个包含3个文件名的切片。然后,我们使用sync.WaitGroup来同步并发文件处理任务的完成。对于每个文件名,我们创建一个Goroutine来执行文件处理操作。每个Goroutine完成处理后,通过defer wg.Done()来通知sync.WaitGroup任务已完成。最后,通过wg.Wait()来等待所有任务完成。

通过以上三个案例,我们可以看到Golang的GMP调度模型在并发计算、并发网络请求和并发文件处理等场景下的优势。使用Golang的协程和调度器,我们可以编写高效的并发程序。

总结

Golang的GMP调度模型是实现高效协程调度和执行的核心机制。通过合理利用Goroutine、M和P的关系,调度器能够自动均衡地分配协程的执行,提高程序的并发性能。GMP模型适用于高并发和高吞吐量的场景,特别适合于I/O密集型和并行计算的应用。通过本文的介绍,读者可以更好地理解Golang的协程调度机制,并能够编写高效的并发程序。

这篇关于Golang GMP调度模型:实现高效协程调度和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/243978

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

高效录音转文字:2024年四大工具精选!

在快节奏的工作生活中,能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候,一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具! 365在线转文字 直达链接:https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具,它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件,只

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo