协程是否越多越好

2024-05-16 11:52
文章标签 是否 越多越好 协程

本文主要是介绍协程是否越多越好,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

写在文章开头

我们都说协程是活跃于应用层的轻量级线程,进行调度切换时的开销远远小于线程,那么问题来了,对于高并发的场景,协程是否是越多越好呢?对此本文就会基于几个案例和go语言设计层面的角度来剖析这个问题。

在这里插入图片描述

Hi,我是 sharkChili ,是个不断在硬核技术上作死的 java coder ,是 CSDN的博客专家 ,也是开源项目 Java Guide 的维护者之一,熟悉 Java 也会一点 Go ,偶尔也会在 C源码 边缘徘徊。写过很多有意思的技术博客,也还在研究并输出技术的路上,希望我的文章对你有帮助,非常欢迎你关注我的公众号: 写代码的SharkChili

因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

多协程代码示例

我们给出一段代码示例,这段代码会进行一个大循环创建多个协程调用foo方法:

func foo() {//休眠1s后输出time.Sleep(time.Second)
}func main() {//大循环启动大量协程for i := 0; i < math.MaxInt64; i++ {go func() {foo()}()}//休眠 让上述协程执行time.Sleep(time.Hour)
}

程序执行完一段时间后报错,提示操作了大量的文件或者socket,很明显go在使用协程提升并发性能的同时也对服务器资源的使用做了限制。
所以,对于协程的使用,我们应做到如何使用尽可能少的协程做尽快尽多的任务:

panic: too many concurrent operations on a single file or socket (max 1048575)goroutine 1162454 [running]:

协程并发最佳实践

逻辑优化

协程设计的初衷就是线程用后即焚,所以从业角度考虑,假设我们开大量协程执行耗时任务,这就会导致单位时间内有大量的协程都活跃与内存中,无法做到即用即毁,随着时间的推移就看你会把内存资源耗尽。所有我们建议在使用协程进行业务开发时,尽可能的优化任务的执行速度。
以我们上文为例,造成too many concurrent operations on a single file or socket的本质原因就是内存中存在大量的协撑爆了服务器的内存资源,所以如果我们能够提升每一个协程的执行速度,保证单位时间内尽可能处理多的协程,保证大量协程能够及时GC以保证时刻保持足量的内存空间,就能够避免上述问题:

在这里插入图片描述

对应我们将foo休眠的逻辑去掉,以模拟协程毫秒级处理,最终代码正确执行完成了:

func foo() {//模拟协程毫秒级的处理
}func main() {i := 0//大循环启动大量协程for ; i < math.MaxInt64; i++ {go func() {foo()}()}//等待上述协程执行完成var wg sync.WaitGroupwg.Add(1)go func() {for true {//当所有协程执行完成之后,该协程退出循环if i == math.MaxInt64 {wg.Done()break}time.Sleep(1 * time.Minute)}}()//所有协程执行完成后输出finishwg.Wait()fmt.Println("finish")}

利用channel实现协程有界化

产生上述的原因就是单位时间内创建了太多了协程,所以我们可以通过有缓冲区的channel作为信号量,只有信号可以投递到缓冲区中才能创建协程,由此实现单位时间内仅能创建有限量的协程,从而避免内存溢出:
在这里插入图片描述

对应的我们给出这段思路的代码:

func foo(ch chan struct{}) {fmt.Println("hello")time.Sleep(time.Second)//完成执行后,将信号从channel中抛出<-ch
}func main() {//创建channel允许容纳5000个元素ch := make(chan struct{}, 5000)//创建大量协程for i := 0; i < math.MaxInt64; i++ {//投递信号到协程中,只有投递成功才能执行后续逻辑ch <- struct{}{}//创建协程并运行go func() {foo(ch)}()}}

协程池化

从一个Java程序员的角度出发,大部分都认为协程应该可以向线程一样通过池化进行复用,但是我们不推荐这种做法,因为go语言本身就内置对协程池化的管理机制,并且协程的使用初衷就是即用即毁,避免池化,所以这个方案我们不推荐。

终极大招

提升服务器硬件配置,俗称:换个高配CPU、加内存。

在这里插入图片描述

小结

以上便是笔者对于协程创建的量的问题的思考和总结,希望对你有帮助。

我是 sharkchiliCSDN Java 领域博客专家开源项目—JavaGuide contributor,我想写一些有意思的东西,希望对你有帮助,如果你想实时收到我写的硬核的文章也欢迎你关注我的公众号: 写代码的SharkChili
因为近期收到很多读者的私信,所以也专门创建了一个交流群,感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加,点击备注 “加群” 即可和笔者和笔者的朋友们进行深入交流。

在这里插入图片描述

这篇关于协程是否越多越好的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/994833

相关文章

Codeforces Round #113 (Div. 2) B 判断多边形是否在凸包内

题目点击打开链接 凸多边形A, 多边形B, 判断B是否严格在A内。  注意AB有重点 。  将A,B上的点合在一起求凸包,如果凸包上的点是B的某个点,则B肯定不在A内。 或者说B上的某点在凸包的边上则也说明B不严格在A里面。 这个处理有个巧妙的方法,只需在求凸包的时候, <=  改成< 也就是说凸包一条边上的所有点都重复点都记录在凸包里面了。 另外不能去重点。 int

easyui同时验证账户格式和ajax是否存在

accountName: {validator: function (value, param) {if (!/^[a-zA-Z][a-zA-Z0-9_]{3,15}$/i.test(value)) {$.fn.validatebox.defaults.rules.accountName.message = '账户名称不合法(字母开头,允许4-16字节,允许字母数字下划线)';return fal

【408DS算法题】039进阶-判断图中路径是否存在

Index 题目分析实现总结 题目 对于给定的图G,设计函数实现判断G中是否含有从start结点到stop结点的路径。 分析实现 对于图的路径的存在性判断,有两种做法:(本文的实现均基于邻接矩阵存储方式的图) 1.图的BFS BFS的思路相对比较直观——从起始结点出发进行层次遍历,遍历过程中遇到结点i就表示存在路径start->i,故只需判断每个结点i是否就是stop

linux 判断某个命令是否安装

linux 判断某个命令是否安装 if ! [ -x "$(command -v git)" ]; thenecho 'Error: git is not installed.' >&2exit 1fi

使用协程实现高并发的I/O处理

文章目录 1. 协程简介1.1 什么是协程?1.2 协程的特点1.3 Python 中的协程 2. 协程的基本概念2.1 事件循环2.2 协程函数2.3 Future 对象 3. 使用协程实现高并发的 I/O 处理3.1 网络请求3.2 文件读写 4. 实际应用场景4.1 网络爬虫4.2 文件处理 5. 性能分析5.1 上下文切换开销5.2 I/O 等待时间 6. 最佳实践6.1 使用 as

Unity协程搭配队列开发Tips弹窗模块

概述 在Unity游戏开发过程中,提示系统是提升用户体验的重要组成部分。一个设计良好的提示窗口不仅能及时传达信息给玩家,还应当做到不干扰游戏流程。本文将探讨如何使用Unity的协程(Coroutine)配合队列(Queue)数据结构来构建一个高效且可扩展的Tips弹窗模块。 技术模块介绍 1. Unity协程(Coroutines) 协程是Unity中的一种特殊函数类型,允许异步操作的实现

如何判断一个数组中是否包含一个字符或字符串

第一种方法:遍历数组 String[] arr1 = {"1","2","3","4","6","7"}; for (int i = 0; i < arr1.length; i++) { if("5".equals(arr1[i])) { System.out.println("包含"); }else { System.out.println("不包含"); } } 第二种方法:先把数组

postgres数据库中如何看查询是否走索引,以及在什么情况下走索引

在 PostgreSQL 中,可以通过 EXPLAIN 或 EXPLAIN ANALYZE 查看查询计划,以判断查询是否使用了索引。除此之外,了解索引的使用条件对于优化查询性能也很重要。 1. 如何查看查询是否使用索引 使用 EXPLAIN 查看查询计划 EXPLAIN 显示 PostgreSQL 如何执行查询,包括是否使用索引。 EXPLAIN SELECT * FROM users WH

模拟退火判断一个圆是否可以放在一个多边形内

/*给定n个点的一个多边形,一个圆的半径,判断圆是否可以放在多边形里*//* ***********************************************Author :rabbitCreated Time :2014/7/3 22:46:38File Name :2.cpp**********************************************

【微信小程序】检测版本是否更新

关于销毁 当用户点击了右上角的胶囊按钮关闭小程序,或者滑动屏幕返回手机主页面(离开微信),这时候小程序并没有直接销毁,而是进入了后台。当再次进入微信或者再次打开小程序,又会从后台进入前台。 只有当小程序进入后台一定时间(也就是时间过长),或者系统资源占用过高,才会被真正的销毁。 冷启动 & 热启动 冷启动:小程序首次打开或者销毁后再次被打开。 热启动:是指从后台切换到前台,或者小程序在后台运