Go可用性 限流 : 自适应限流

2024-04-23 03:18
文章标签 go 可用性 限流 适应

本文主要是介绍Go可用性 限流 : 自适应限流，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

序

在前面限流的三篇文章，我们学习了令牌桶、漏桶算法的原理、实现以及使用方式，不知道你有没有觉得这两种算法存在着一些问题。

  • Go 可用性(二) 限流 1: 令牌桶原理及使用
  • Go 可用性(三) 限流 2: 令牌桶的实现 rate/limt
  • Go 可用性(四) 限流 3: 漏桶算法

这两种算法最大的一个问题就是他们都属于需要提前设置阈值的算法，基于 QPS 进行限流的时候最麻烦的就是这个阈值应该怎么设定。一般来说我们可以通过压测来决定这个阈值。

  • 但是如果每个系统上线前都要经过很严格的压测，那么成本相对来说会比较大
  • 并且我们很多时候压测都会在测试环境进行压测，测试环境一般来说和生产环境会有一定的差异，即使我们在生产环境做了压测，现在我们的应用都是以容器的形式跑在不同的宿主机上的，每台宿主机上的差异，以及不同的负载都会导致这个压测时的结果不一定就一定是正确的
  • 当我们的机器型号、数量等发生改变时，之前压测的指标能不能用其实是一个问题，这些数据对于系统负载的影响其实不是线性的，举个例子之前一台机器，后面再加一台，负载就一定能到 2 倍么？其实是不一定的
  • 如果需要修改限流的值，虽然之前我们将令牌桶的限流是可以动态调整，但是靠人去调整，如果真出现问题然后再叫运维或者是开发同学去调整可能黄花菜都凉了

既然这种方式有这么多的缺点，那有没有办法解决呢？答案就是今天讲到的 自适应限流

自适应限流

自适应限流怎么做

前面我们遇到的主要问题就是每个服务实例的限流阈值实际应该是动态变化的，我们应该根据系统能够承载的最大吞吐量，来进行限流，当当前的流量大于最大吞吐的时候就限制流量进入，反之则允许通过。那现在的问题就是

  • 系统的吞吐量该如何计算？
  • 什么时候系统的吞吐量就是最大的吞吐量了？

**

计算吞吐量：利特尔法则 L = λ * W

利特尔法则由麻省理工大学斯隆商学院（MIT Sloan School of Management）的教授 John Little﹐于 1961 年所提出与证明。它是一个有关提前期与在制品关系的简单数学公式，这一法则为精益生产的改善方向指明了道路。 —- MBA 智库百科 (mbalib.com)

如上图所示，如果我们开一个小店，平均每分钟进店 2 个客人(λ)，每位客人从等待到完成交易需要 4 分钟(W)，那我们店里能承载的客人数量就是 2 * 4 = 8 个人

同理，我们可以将 λ 当做 QPS， W 呢是每个请求需要花费的时间，那我们的系统的吞吐就是 L = λ * W ，所以我们可以使用利特尔法则来计算系统的吞吐量。

什么时候系统的吞吐量就是最大的吞吐量？

首先我们可以通过统计过去一段时间的数据，获取到平均每秒的请求量，也就是 QPS，以及请求的耗时时间，为了避免出现前面 900ms 一个请求都没有最后 100ms 请求特别多的情况，我们可以使用滑动窗口算法来进行统计。

最容易想到的就是我们从系统启动开始，就把这些值给保存下来，然后计算一个吞吐的最大值，用这个来表示我们的最大吞吐量就可以了。但是这样存在一个问题是，我们很多系统其实都不是独占一台机器的，一个物理机上面往往有很多服务，并且一般还存在一些超卖，所以可能第一个小时最大处理能力是 100，但是这台节点上其他服务实例同时都在抢占资源的时候，这个处理能力最多就只能到 80 了

所以我们需要一个数据来做启发阈值，只要这个指标达到了阈值那我们就进入流控当中。常见的选择一般是 CPU、Memory、System Load，这里我们以 CPU 为例

只要我们的 CPU 负载超过 80% 的时候，获取过去 5s 的最大吞吐数据，然后再统计当前系统中的请求数量，只要当前系统中的请求数大于最大吞吐那么我们就丢弃这个请求。

kratos 自适应限流分析

限流公式 

// PS: 官方文档这里写的是 cpu > 800 AND (Now - PrevDrop) < 1s
// 应该是写错了，等下看源码就知道了
(cpu > 800 OR (Now - PrevDrop) < 1s) AND (MaxPass * MinRt * windows / 1000) < InFlight
  • cpu > 800 表示 CPU 负载大于 80% 进入限流
  • (Now - PrevDrop) < 1s 这个表示只要触发过 1 次限流，那么 1s 内都会去做限流的判定，这是为了避免反复出现限流恢复导致请求时间和系统负载产生大量毛刺
  • (MaxPass * MinRt * windows / 1000) < InFlight 判断当前负载是否大于最大负载 
    InFlight
(MaxPass * MinRt * windows / 1000)
MaxPass
MinRt
windows

源码分析

BBR 结构体 
type BBR struct {cpu             cpuGetter// 请求数，和响应时间的采样数据，使用滑动窗口进行统计passStat        metric.RollingCounterrtStat          metric.RollingCounter

</span><span class="com">// 当前系统中的请求数</span><span class="pln">
inFlight        int64
</span><span class="com">// 每秒钟内的采样数量，默认是10</span><span class="pln">
winBucketPerSec int64
</span><span class="com">// 单个 bucket 的时间</span><span class="pln">
bucketDuration  time</span><span class="pun">.</span><span class="typ">Duration</span><span class="pln">
</span><span class="com">// 窗口数量</span><span class="pln">
winSize         </span><span class="kwd">int</span><span class="pln">
</span><span class="com">// 配置</span><span class="pln">
conf            </span><span class="pun">*</span><span class="typ">Config</span><span class="pln">
prevDrop        atomic</span><span class="pun">.</span><span class="typ">Value</span><span class="pln">
</span><span class="com">// 表示最近 5s 内，单个采样窗口中最大的请求数的缓存数据</span><span class="pln">
maxPASSCache    atomic</span><span class="pun">.</span><span class="typ">Value</span><span class="pln">
</span><span class="com">// 表示最近 5s 内，单个采样窗口中最小的响应时间的缓存数据</span><span class="pln">
minRtCache      atomic</span><span class="pun">.</span><span class="typ">Value</span><span class="pln">

}

Allow: 判断请求是否允许通过 
func (l *BBR) Allow(ctx context.Context, opts ...limit.AllowOption) (func(info limit.DoneInfo), error) {// ... 省略配置修改代码

</span><span class="kwd">if</span><span class="pln"> l</span><span class="pun">.</span><span class="pln">shouldDrop</span><span class="pun">()</span><span class="pln"> </span><span class="pun">{</span><span class="pln"></span><span class="kwd">return</span><span class="pln"> </span><span class="kwd">nil</span><span class="pun">,</span><span class="pln"> ecode</span><span class="pun">.</span><span class="typ">LimitExceed</span><span class="pln">
</span><span class="pun">}</span><span class="pln">atomic</span><span class="pun">.</span><span class="typ">AddInt64</span><span class="pun">(&amp;</span><span class="pln">l</span><span class="pun">.</span><span class="pln">inFlight</span><span class="pun">,</span><span class="pln"> </span><span class="lit">1</span><span class="pun">)</span><span class="pln">
stime </span><span class="pun">:=</span><span class="pln"> time</span><span class="pun">.</span><span class="typ">Since</span><span class="pun">(</span><span class="pln">initTime</span><span class="pun">)</span><span class="pln"></span><span class="kwd">return</span><span class="pln"> func</span><span class="pun">(</span><span class="kwd">do</span><span class="pln"> limit</span><span class="pun">.</span><span class="typ">DoneInfo</span><span class="pun">)</span><span class="pln"> </span><span class="pun">{</span><span class="pln">rt </span><span class="pun">:=</span><span class="pln"> int64</span><span class="pun">((</span><span class="pln">time</span><span class="pun">.</span><span class="typ">Since</span><span class="pun">(</span><span class="pln">initTime</span><span class="pun">)</span><span class="pln"> </span><span class="pun">-</span><span class="pln"> stime</span><span class="pun">)</span><span class="pln"> </span><span class="pun">/</span><span class="pln"> time</span><span class="pun">.</span><span class="typ">Millisecond</span><span class="pun">)</span><span class="pln">l</span><span class="pun">.</span><span class="pln">rtStat</span><span class="pun">.</span><span class="typ">Add</span><span class="pun">(</span><span class="pln">rt</span><span class="pun">)</span><span class="pln">atomic</span><span class="pun">.</span><span class="typ">AddInt64</span><span class="pun">(&amp;</span><span class="pln">l</span><span class="pun">.</span><span class="pln">inFlight</span><span class="pun">,</span><span class="pln"> </span><span class="pun">-</span><span class="lit">1</span><span class="pun">)</span><span class="pln"></span><span class="kwd">switch</span><span class="pln"> </span><span class="kwd">do</span><span class="pun">.</span><span class="typ">Op</span><span class="pln"> </span><span class="pun">{</span><span class="pln"></span><span class="kwd">case</span><span class="pln"> limit</span><span class="pun">.</span><span class="typ">Success</span><span class="pun">:</span><span class="pln">l</span><span class="pun">.</span><span class="pln">passStat</span><span class="pun">.</span><span class="typ">Add</span><span class="pun">(</span><span class="lit">1</span><span class="pun">)</span><span class="pln"></span><span class="kwd">return</span><span class="pln"></span><span class="kwd">default</span><span class="pun">:</span><span class="pln"></span><span class="kwd">return</span><span class="pln"></span><span class="pun">}</span><span class="pln">
</span><span class="pun">},</span><span class="pln"> </span><span class="kwd">nil</span><span class="pln">

}

这个方法主要是给中间件使用的

  • 首先使用 shouldDrop 方法判断这个请求是否应该丢弃
  • 如果成功放行，那么当前系统中的请求数就 +1
  • 然后返回一个 function 用于请求结束之后 
    Inflight
shouldDrop: 判断请求是否应该被丢弃 
func (l *BBR) shouldDrop() bool {if l.cpu() < l.conf.CPUThreshold {prevDrop, _ := l.prevDrop.Load().(time.Duration)if prevDrop == 0 {return false}if time.Since(initTime)-prevDrop <= time.Second {inFlight := atomic.LoadInt64(&l.inFlight)return inFlight > 1 && inFlight > l.maxFlight()}l.prevDrop.Store(time.Duration(0))return false}inFlight := atomic.LoadInt64(&l.inFlight)drop := inFlight > 1 && inFlight > l.maxFlight()if drop {prevDrop, _ := l.prevDrop.Load().(time.Duration)if prevDrop != 0 {return drop}l.prevDrop.Store(time.Since(initTime))}return drop
}

这个方法其实就是开头讲到的限流公式了，逻辑如下图所示

  • 首先看 CPU 的使用率是否达到了阈值
  • 如果没到，则回去判断一下上次触发限流到现在是否在一秒以内 
    prevDrop
  • 如果到了，则判断一下当前负载是否超过限制 
    prevDrop
maxFlight: 系统的最大负载 
func (l *BBR) maxFlight() int64 {return int64(math.Floor(float64(l.maxPASS()*l.minRT()*l.winBucketPerSec)/1000.0 + 0.5))
}

这个就是计算过去一段时间系统的最大负载是多少

总结

这篇文章我们讲了一下为什么需要自适应限流，令牌桶和漏桶这类需要手动设置 rps 算法的问题所在，了解了自适应限流的实现原理，最后看了一下 kratos 当中是如何实现自适应限流的。但是由于篇幅关系，CPU 的数据如何进行统计，文章中提到了很多次的滑动窗口是个什么原理这些知识点大家可以自行查看 kratos 中的源码，或者去看极客时间的 Go 进阶训练营都有讲到。

kratos 中的限流算法其实是借鉴了 sentinel 的实现，只是 sentinel 默认使用 load 作为启发阈值，而 kratos 使用了 cpu，kratos 为什么要使用 cpu 呢？这个大家可以自己想想。

而 sentinel 的实现其实是参考了 TCP 中的 BBR 算法，在 BBR 的基础上加上了 load 作为启发阈值的判断，所以多了解一下基础知识总是没错的，指不定当下遇到的场景就能解决。

这篇关于Go可用性 限流 : 自适应限流的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/927643。

相关文章

Go Playground 在线编程环境

Go Playground 在线编程环境

For all examples in this and the next chapter, we will use Go Playground. Go Playground represents a web service that can run programs written in Go. It can be opened in a web browser using the follow
阅读更多...
go基础知识归纳总结

go基础知识归纳总结

无缓冲的 channel 和有缓冲的 channel 的区别？ 在 Go 语言中，channel 是用来在 goroutines 之间传递数据的主要机制。它们有两种类型：无缓冲的 channel 和有缓冲的 channel。 无缓冲的 channel 行为：无缓冲的 channel 是一种同步的通信方式，发送和接收必须同时发生。如果一个 goroutine 试图通过无缓冲 channel
阅读更多...
如何确定 Go 语言中 HTTP 连接池的最佳参数？

如何确定 Go 语言中 HTTP 连接池的最佳参数？

确定 Go 语言中 HTTP 连接池的最佳参数可以通过以下几种方式： 一、分析应用场景和需求 并发请求量： 确定应用程序在特定时间段内可能同时发起的 HTTP 请求数量。如果并发请求量很高，需要设置较大的连接池参数以满足需求。例如，对于一个高并发的 Web 服务，可能同时有数百个请求在处理，此时需要较大的连接池大小。可以通过压力测试工具模拟高并发场景，观察系统在不同并发请求下的性能表现，从而
阅读更多...
【Go】go连接clickhouse使用TCP协议

【Go】go连接clickhouse使用TCP协议

离开你是傻是对是错 是看破是软弱 这结果是爱是恨或者是什么 如果是种解脱 怎么会还有眷恋在我心窝 那么爱你为什么                      🎵 黄品源/莫文蔚《那么爱你为什么》 package mainimport ("context""fmt""log""time""github.com/ClickHouse/clickhouse-go/v2")func main(
阅读更多...
JAVA用最简单的方法来构建一个高可用的服务端，提升系统可用性

JAVA用最简单的方法来构建一个高可用的服务端，提升系统可用性

一、什么是提升系统的高可用性 JAVA服务端，顾名思义就是23体验网为用户提供服务的。停工时间，就是不能向用户提供服务的时间。高可用，就是系统具有高度可用性，尽量减少停工时间。如何用最简单的方法来搭建一个高效率可用的服务端JAVA呢？ 停工的原因一般有： 服务器故障。例如服务器宕机，服务器网络出现问题，机房或者机架出现问题等；访问量急剧上升，导致服务器压力过大导致访问量急剧上升的原因；时间和
阅读更多...
Go Select的实现

Go Select的实现

select语法总结 select对应的每个case如果有已经准备好的case 则进行chan读写操作；若没有则执行defualt语句；若都没有则阻塞当前goroutine，直到某个chan准备好可读或可写，完成对应的case后退出。 Select的内存布局 了解chanel的实现后对select的语法有个疑问，select如何实现多路复用的，为什么没有在第一个channel操作时阻塞 从而导
阅读更多...
Go Channel的实现

Go Channel的实现

channel作为goroutine间通信和同步的重要途径，是Go runtime层实现CSP并发模型重要的成员。在不理解底层实现时，经常在使用中对channe相关语法的表现感到疑惑，尤其是select case的行为。因此在了解channel的应用前先看一眼channel的实现。 Channel内存布局 channel是go的内置类型，它可以被存储到变量中，可以作为函数的参数或返回值，它在r
阅读更多...
Go 数组赋值问题

Go 数组赋值问题

package mainimport "fmt"type Student struct {Name stringAge int}func main() {data := make(map[string]*Student)list := []Student{{Name:"a",Age:1},{Name:"b",Age:2},{Name:"c",Age:3},}// 错误 都指向了最后一个v// a
阅读更多...
Go组合

Go组合

摘要 golang并非完全面向对象的程序语言，为了实现面向对象的继承这一神奇的功能，golang允许struct间使用匿名引入的方式实现对象属性方法的组合 组合使用注意项 使用匿名引入的方式来组合其他struct 默认优先调用外层方法 可以指定匿名struct以调用内层方法 代码 package mainimport ("fmt")type People struct{}type Pe
阅读更多...
Go语言构建单链表

Go语言构建单链表

package mainimport "fmt"type ListNode struct {Val intNext *ListNode}func main() {list := []int{2,4,3}head := &ListNode{Val:list[0]}tail := head //需要头尾两个指针for i:=1;i<len(list);i++ {//方法一 数组直接构建链表tai
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2