简单剖析tRPC-Go中使用的第三方协程池ants

2024-06-16 21:04

本文主要是介绍简单剖析tRPC-Go中使用的第三方协程池ants,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

tRPC-Go中的tRPC.Go()方法使用了ants协程池,做个简单剖析

panjf2000/ants协程池

在tRPC.Go方法(异步启动goroutine)中看到里面使用了ants协程池去实现(具体位置:g.pool.Invoke(p)

前置知识:

我们想异步完成一个任务,首先创建一个任务,然后需要从协程池(PoolWithFunc)中获取worker(goWorkerWithFunc),假设目前队列为空,这时一个worker和一个goroutine会一起创建出来,可以认为他俩就是绑一起的,然后处理完这个任务后,处于当前goroutine中的worker会放入全局的队列中,等待被其他协程去获取这个worker。

于是深入探索了下pool.Invoke等方法:

// github.com/panjf2000/ants/v2@v2.4.6/pool_func.go:162
// Invoke submits a task to pool.
func (p *PoolWithFunc) Invoke(args interface{}) error {// 这个func的caller:p就是一个协程池对象if p.IsClosed() {return ErrPoolClosed}var w *goWorkerWithFuncif w = p.retrieveWorker(); w == nil {// <----return ErrPoolOverload}w.args <- args // 这里展现了channel的异步通信能力:告知,具体可往下看**callback**return nil
}

首先执行p.retrieveWorker()获取一个worker,这个方法里面会根据当前worker队列的数量去做不同的逻辑:

  1. 若队列为空,表示无可用的worker,则需要新建(其中包含使用原生go去启动新协程)
// 会执行下面这个函数
spawnWorker := func() {w = p.workerCache.Get().(*goWorkerWithFunc)// workerCache是个sync.pool,从中获取goWorkerWithFunc对象w.run()// 启动一个 Goroutine 来重复执行传入的函数}
// worker 的结构如下:
// goWorkerWithFunc is the actual executor who runs the tasks,
// it starts a goroutine that accepts tasks and performs function calls.
type goWorkerWithFunc struct {// pool who owns this worker.pool *PoolWithFunc // 该 worker 所在协程池对象的指针// args is a job should be done.args chan interface{} // 待执行的任务// recycleTime will be update when putting a worker back into queue.recycleTime time.Time
}

为什么说这个Goroutine可以重复执行传入的函数?

答案:使用for循环不断获取无缓冲channel中的对象,获取不到则阻塞,直到管道关闭为止。

// run starts a goroutine to repeat the process
// that performs the function calls.
func (w *goWorkerWithFunc) run() {w.pool.incRunning()go func() {defer func() {// ...}()for args := range w.args {// w.args类型是chan any,用for循环不断获取无缓冲channel中的对象,获取不到则阻塞,直到管道关闭为止if args == nil {return}w.pool.poolFunc(args)// args对象就是每个传入的任务,poolFunc是这个协程池对象的执行任务的接口funcif ok := w.pool.revertWorker(w); !ok {// 将该worker放入队列中,供其他人后续获取这个worker并利用当前这个协程去执行任务return}}}()
}

所以说:新开的这个协程会一直处于for循环中不断等待并执行新的任务。

callbackg.pool.Invoke(p)方法中的w.args <- args就是用来通知某个任务协程中的for args := range w.args去执行新的任务。

这里的p和args对象就是一个任务,结构如下:

p := &goerParam{ctx:     newCtx,// context.Contextcancel:  cancel,// context.CancelFunchandler: handler,// func(context.Context) 调用方传入的闭包函数
}

sync.pool

上面可以看到 p.workerCache.Get().(*goWorkerWithFunc)中,任务p包含了一个workerCache属性,它是sync.pool类型,一个并发安全的对象池。说明worker都保存在一个对象池中,目的是减少内存分配和垃圾回收的开销。

有待深入…

这篇关于简单剖析tRPC-Go中使用的第三方协程池ants的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1067541

相关文章

使用EasyExcel实现简单的Excel表格解析操作

《使用EasyExcel实现简单的Excel表格解析操作》:本文主要介绍如何使用EasyExcel完成简单的表格解析操作,同时实现了大量数据情况下数据的分次批量入库,并记录每条数据入库的状态,感兴... 目录前言固定模板及表数据格式的解析实现Excel模板内容对应的实体类实现AnalysisEventLis

使用国内镜像源优化pip install下载的方法步骤

《使用国内镜像源优化pipinstall下载的方法步骤》在Python开发中,pip是一个不可或缺的工具,用于安装和管理Python包,然而,由于默认的PyPI服务器位于国外,国内用户在安装依赖时可... 目录引言1. 为什么需要国内镜像源?2. 常用的国内镜像源3. 临时使用国内镜像源4. 永久配置国内镜

Go语言中最便捷的http请求包resty的使用详解

《Go语言中最便捷的http请求包resty的使用详解》go语言虽然自身就有net/http包,但是说实话用起来没那么好用,resty包是go语言中一个非常受欢迎的http请求处理包,下面我们一起来学... 目录安装一、一个简单的get二、带查询参数三、设置请求头、body四、设置表单数据五、处理响应六、超

如何使用C#串口通讯实现数据的发送和接收

《如何使用C#串口通讯实现数据的发送和接收》本文详细介绍了如何使用C#实现基于串口通讯的数据发送和接收,通过SerialPort类,我们可以轻松实现串口通讯,并结合事件机制实现数据的传递和处理,感兴趣... 目录1. 概述2. 关键技术点2.1 SerialPort类2.2 异步接收数据2.3 数据解析2.

详解如何使用Python提取视频文件中的音频

《详解如何使用Python提取视频文件中的音频》在多媒体处理中,有时我们需要从视频文件中提取音频,本文为大家整理了几种使用Python编程语言提取视频文件中的音频的方法,大家可以根据需要进行选择... 目录引言代码部分方法扩展引言在多媒体处理中,有时我们需要从视频文件中提取音频,以便进一步处理或分析。本文

使用Dify访问mysql数据库详细代码示例

《使用Dify访问mysql数据库详细代码示例》:本文主要介绍使用Dify访问mysql数据库的相关资料,并详细讲解了如何在本地搭建数据库访问服务,使用ngrok暴露到公网,并创建知识库、数据库访... 1、在本地搭建数据库访问的服务,并使用ngrok暴露到公网。#sql_tools.pyfrom

使用mvn deploy命令上传jar包的实现

《使用mvndeploy命令上传jar包的实现》本文介绍了使用mvndeploy:deploy-file命令将本地仓库中的JAR包重新发布到Maven私服,文中通过示例代码介绍的非常详细,对大家的学... 目录一、背景二、环境三、配置nexus上传账号四、执行deploy命令上传包1. 首先需要把本地仓中要

Spring Cloud之注册中心Nacos的使用详解

《SpringCloud之注册中心Nacos的使用详解》本文介绍SpringCloudAlibaba中的Nacos组件,对比了Nacos与Eureka的区别,展示了如何在项目中引入SpringClo... 目录Naacos服务注册/服务发现引⼊Spring Cloud Alibaba依赖引入Naco编程s依

Java springBoot初步使用websocket的代码示例

《JavaspringBoot初步使用websocket的代码示例》:本文主要介绍JavaspringBoot初步使用websocket的相关资料,WebSocket是一种实现实时双向通信的协... 目录一、什么是websocket二、依赖坐标地址1.springBoot父级依赖2.springBoot依赖

Java使用Mail构建邮件功能的完整指南

《Java使用Mail构建邮件功能的完整指南》JavaMailAPI是一个功能强大的工具,它可以帮助开发者轻松实现邮件的发送与接收功能,本文将介绍如何使用JavaMail发送和接收邮件,希望对大家有所... 目录1、简述2、主要特点3、发送样例3.1 发送纯文本邮件3.2 发送 html 邮件3.3 发送带