赏析Singleflight设计

2024-03-15 09:10
文章标签 设计 赏析 singleflight

本文主要是介绍赏析Singleflight设计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

哈喽,大家好,我是asong。今天想与大家分享一下singleflight这个库,singleflight仅仅只有100多行却可以做到防止缓存击穿,有点厉害哦!所以本文我们就一起来看一看他是怎么设计的~。

注意:本文基于 https://pkg.go.dev/golang.org/x/sync/singleflight进行分析。

缓存击穿

什么是缓存击穿

平常在高并发系统中,会出现大量的请求同时查询一个key的情况,假如此时这个热key刚好失效了,就会导致大量的请求都打到数据库上面去,这种现象就是缓存击穿。缓存击穿和缓存雪崩有点像,但是又有一点不一样,缓存雪崩是因为大面积的缓存失效,打崩了DB,而缓存击穿则是指一个key非常热点,在不停的扛着高并发,高并发集中对着这一个点进行访问,如果这个key在失效的瞬间,持续的并发到来就会穿破缓存,直接请求到数据库,就像一个完好无损的桶上凿开了一个洞,造成某一时刻数据库请求量过大,压力剧增!

如何解决

  • 方法一

    我们简单粗暴点,直接让热点数据永远不过期,定时任务定期去刷新数据就可以了。不过这样设置需要区分场景,比如某宝首页可以这么做。

  • 方法二

    为了避免出现缓存击穿的情况,我们可以在第一个请求去查询数据库的时候对他加一个互斥锁,其余的查询请求都会被阻塞住,直到锁被释放,后面的线程进来发现已经有缓存了,就直接走缓存,从而保护数据库。但是也是由于它会阻塞其他的线程,此时系统吞吐量会下降。需要结合实际的业务去考虑是否要这么做。

  • 方法三

    方法三就是singleflight的设计思路,也会使用互斥锁,但是相对于方法二的加锁粒度会更细,这里先简单总结一下singleflight的设计原理,后面看源码在具体分析。

    singleflightd的设计思路就是将一组相同的请求合并成一个请求,使用map存储,只会有一个请求到达mysql,使用sync.waitgroup包进行同步,对所有的请求返回相同的结果。

截屏2021-07-14 下午8.30.56

源码赏析

已经迫不及待了,直奔主题吧,下面我们一起来看看singleflight是怎么设计的。

数据结构

singleflight的结构定义如下:

type Group struct {mu sync.Mutex       // 互斥锁,保证并发安全m  map[string]*call // 存储相同的请求,key是相同的请求,value保存调用信息。
}

Group结构还是比较简单的,只有两个字段,m是一个mapkey是相同请求的标识,value是用来保存调用信息,这个map是懒加载,其实就是在使用时才会初始化;mu是互斥锁,用来保证m的并发安全。m存储调用信息也是单独封装了一个结构:

type call struct {wg sync.WaitGroup// 存储返回值,在wg done之前只会写入一次val interface{}// 存储返回的错误信息err error// 标识别是否调用了Forgot方法forgotten bool// 统计相同请求的次数,在wg done之前写入dups  int// 使用DoChan方法使用,用channel进行通知chans []chan<- Result
}
// Dochan方法时使用
type Result struct {Val    interface{} // 存储返回值Err    error // 存储返回的错误信息Shared bool // 标示结果是否是共享结果
}

Do方法

// 入参:key:标识相同请求,fn:要执行的函数
// 返回值:v: 返回结果 err: 执行的函数错误信息 shard: 是否是共享结果
func (g *Group) Do(key string, fn func() (interface{}, error)) (v interface{}, err error, shared bool) {// 代码块加锁g.mu.Lock()// map进行懒加载if g.m == nil {// map初始化g.m = make(map[string]*call)}// 判断是否有相同请求if c, ok := g.m[key]; ok {// 相同请求次数+1c.dups++// 解锁就好了,只需要等待执行结果了,不会有写入操作了g.mu.Unlock()// 已有请求在执行,只需要等待就好了c.wg.Wait()// 区分panic错误和runtime错误if e, ok := c.err.(*panicError); ok {panic(e)} else if c.err == errGoexit {runtime.Goexit()}return c.val, c.err, true}// 之前没有这个请求,则需要new一个指针类型c := new(call)// sync.waitgroup的用法,只有一个请求运行,其他请求等待,所以只需要add(1)c.wg.Add(1)// m赋值g.m[key] = c// 没有写入操作了,解锁即可g.mu.Unlock()// 唯一的请求该去执行函数了g.doCall(c, key, fn)return c.val, c.err, c.dups > 0
}

这里是唯一有疑问的应该是区分panicruntime错误部分吧,这个与下面的docall方法有关联,看完docall你就知道为什么了。

docall

// doCall handles the single call for a key.
func (g *Group) doCall(c *call, key string, fn func() (interface{}, error)) {// 标识是否正常返回normalReturn := false// 标识别是否发生panicrecovered := falsedefer func() {// 通过这个来判断是否是runtime导致直接退出了if !normalReturn && !recovered {// 返回runtime错误信息c.err = errGoexit}c.wg.Done()g.mu.Lock()defer g.mu.Unlock()// 防止重复删除keyif !c.forgotten {delete(g.m, key)}// 检测是否出现了panic错误if e, ok := c.err.(*panicError); ok {// 如果是调用了dochan方法,为了channel避免死锁,这个panic要直接抛出去,不能recover住,要不就隐藏错误了if len(c.chans) > 0 {go panic(e) // 开一个写成panicselect {} // 保持住这个goroutine,这样可以将panic写入crash dump} else {panic(e)}} else if c.err == errGoexit {// runtime错误不需要做任何时,已经退出了} else {// 正常返回的话直接向channel写入数据就可以了for _, ch := range c.chans {ch <- Result{c.val, c.err, c.dups > 0}}}}()// 使用匿名函数目的是recover住panic,返回信息给上层func() {defer func() {if !normalReturn {// 发生了panic,我们recover住,然后把错误信息返回给上层if r := recover(); r != nil {c.err = newPanicError(r)}}}()// 执行函数c.val, c.err = fn()// fn没有发生panicnormalReturn = true}()// 判断执行函数是否发生panicif !normalReturn {recovered = true}
}

这里来简单描述一下为什么区分panicruntime错误,不区分的情况下如果调用出现了恐慌,但是锁没有被释放,会导致使用相同key的所有后续调用都出现了死锁,具体可以查看这个issue:https://github.com/golang/go/issues/33519。

Dochan和Forget方法

//异步返回
// 入参数:key:标识相同请求,fn:要执行的函数
// 出参数:<- chan 等待接收结果的channel
func (g *Group) DoChan(key string, fn func() (interface{}, error)) <-chan Result {// 初始化channelch := make(chan Result, 1)g.mu.Lock()// 懒加载if g.m == nil {g.m = make(map[string]*call)}// 判断是否有相同的请求if c, ok := g.m[key]; ok {//相同请求数量+1c.dups++// 添加等待的chanc.chans = append(c.chans, ch)g.mu.Unlock()return ch}c := &call{chans: []chan<- Result{ch}}c.wg.Add(1)g.m[key] = cg.mu.Unlock()// 开一个写成调用go g.doCall(c, key, fn)// 返回这个channel等待接收数据return ch
}
// 释放某个 key 下次调用就不会阻塞等待了
func (g *Group) Forget(key string) {g.mu.Lock()if c, ok := g.m[key]; ok {c.forgotten = true}delete(g.m, key)g.mu.Unlock()
}

注意事项

因为我们在使用singleflight时需要自己写执行函数,所以如果我们写的执行函数一直循环住了,就会导致我们的整个程序处于循环的状态,积累越来越多的请求,所以在使用时,还是要注意一点的,比如这个例子:

result, err, _ := d.singleGroup.Do(key, func() (interface{}, error) {for{// TODO}
}

不过这个问题一般也不会发生,我们在日常开发中都会使用context控制超时。

总结

好啦,这篇文章就到这里啦。因为最近我在项目中也使用singleflight这个库,所以就看了一下源码实现,真的是厉害,这么短的代码就实现了这么重要的功能,我怎么就想不到呢。。。。所以说还是要多读一些源码库,真的能学到好多,真是应了那句话:你知道的越多,不知道的就越多!

素质三连(分享、点赞、在看)都是笔者持续创作更多优质内容的动力!我是asong,我们下期见。

创建了一个Golang学习交流群,欢迎各位大佬们踊跃入群,我们一起学习交流。入群方式:关注公众号获取。更多学习资料请到公众号领取。

推荐往期文章:

  • 学习channel设计:从入门到放弃

  • Go语言如何实现可重入锁?

  • Go语言中new和make你使用哪个来分配内存?

  • 源码剖析panic与recover,看不懂你打我好了!

  • 空结构体引发的大型打脸现场

  • 面试官:你能聊聊string和[]byte的转换吗?

  • 面试官:两个nil比较结果是什么?

  • 面试官:你能用Go写段代码判断当前系统的存储方式吗?

  • 面试中如果这样写二分查找

这篇关于赏析Singleflight设计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/811457

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

怎么让1台电脑共享给7人同时流畅设计

在当今的创意设计与数字内容生产领域,图形工作站以其强大的计算能力、专业的图形处理能力和稳定的系统性能,成为了众多设计师、动画师、视频编辑师等创意工作者的必备工具。 设计团队面临资源有限,比如只有一台高性能电脑时,如何高效地让七人同时流畅地进行设计工作,便成为了一个亟待解决的问题。 一、硬件升级与配置 1.高性能处理器(CPU):选择多核、高线程的处理器,例如Intel的至强系列或AMD的Ry

基于51单片机的自动转向修复系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 单片机

SprinBoot+Vue网络商城海鲜市场的设计与实现

目录 1 项目介绍2 项目截图3 核心代码3.1 Controller3.2 Service3.3 Dao3.4 application.yml3.5 SpringbootApplication3.5 Vue 4 数据库表设计5 文档参考6 计算机毕设选题推荐7 源码获取 1 项目介绍 博主个人介绍:CSDN认证博客专家,CSDN平台Java领域优质创作者,全网30w+

单片机毕业设计基于单片机的智能门禁系统的设计与实现

文章目录 前言资料获取设计介绍功能介绍程序代码部分参考 设计清单具体实现截图参考文献设计获取 前言 💗博主介绍:✌全网粉丝10W+,CSDN特邀作者、博客专家、CSDN新星计划导师,一名热衷于单片机技术探索与分享的博主、专注于 精通51/STM32/MSP430/AVR等单片机设计 主要对象是咱们电子相关专业的大学生,希望您们都共创辉煌!✌💗 👇🏻 精彩专栏 推荐订

Spring的设计⽬标——《Spring技术内幕》

读《Spring技术内幕》第二版,计文柯著。 如果我们要简要地描述Spring的设计⽬标,可以这么说,Spring为开发者提供的是⼀个⼀站式的轻量级应⽤开发框架(平台)。 作为平台,Spring抽象了我们在 许多应⽤开发中遇到的共性问题;同时,作为⼀个轻量级的应⽤开发框架,Spring和传统的J2EE开发相⽐,有其⾃⾝的特点。 通过这些⾃⾝的特点,Spring充分体现了它的设计理念:在

开题报告中的研究方法设计:AI能帮你做什么?

AIPaperGPT,论文写作神器~ https://www.aipapergpt.com/ 大家都准备开题报告了吗?研究方法部分是不是已经让你头疼到抓狂? 别急,这可是大多数人都会遇到的难题!尤其是研究方法设计这一块,选定性还是定量,怎么搞才能符合老师的要求? 每次到这儿,头脑一片空白。 好消息是,现在AI工具火得一塌糊涂,比如ChatGPT,居然能帮你在研究方法这块儿上出点主意。是不

创业者该如何设计公司的股权架构

本文来自七八点联合IT橘子和车库咖啡的一系列关于设计公司股权结构的讲座。 主讲人何德文: 在公司发展的不同阶段,创业者都会面临公司股权架构设计问题: 1.合伙人合伙创业第一天,就会面临股权架构设计问题(合伙人股权设计); 2.公司早期要引入天使资金,会面临股权架构设计问题(天使融资); 3.公司有三五十号人,要激励中层管理与重要技术人员和公司长期走下去,会面临股权架构设计问题(员工股权激

分布式文件系统设计

分布式文件系统是分布式领域的一个基础应用,其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟,但了解它的设计要点和思想,对我们将来面临类似场景 / 问题时,具有借鉴意义。并且,分布式文件系统并非只有 HDFS/GFS 这一种形态,在它之外,还有其他形态各异、各有千秋的产品形态,对它们的了解,也对扩展我们的视野有所俾益。本文试图分析和思考,在分布式文件系统领域,我们要解决哪些问题、有

(入门篇)JavaScript 网页设计案例浅析-简单的交互式图片轮播

网页设计已经成为了每个前端开发者的必备技能,而 JavaScript 作为前端三大基础之一,更是为网页赋予了互动性和动态效果。本篇文章将通过一个简单的 JavaScript 案例,带你了解网页设计中的一些常见技巧和技术原理。今天就说一说一个常见的图片轮播效果。相信大家在各类电商网站、个人博客或者展示页面中,都看到过这种轮播图。它的核心功能是展示多张图片,并且用户可以通过点击按钮,左右切换图片。