bbr 的 “最优操作点”

最近做一组测试，我复现了一组结果准备阐释另一个事。先看这个测试结果：

常规的一个 wrk2(expected_latency_timing 改为 actual_latency_timing 计数) 压 nginx 的测试，调整 -R 参数，Req/sec 同步增加，当 Req/sec 不再增加，nginx CPU 已 100%，处理饱和，在此之前 latency 几乎不变，在此之后，latency 剧烈增大。于是 Req/sec 开始不再增加的 R 值就是 “nginx 最优操作点”，在该点，Request 的处理具有最小时延，总吞吐最大。

可这是对 nginx 来说的，对 wrk，我是靠不断调 -R，肉眼观察找到这个 -R 值的，设它为 r。如果有 n 个互不可见的 wrk 在不同地方同时压 nginx，这个 r = r0 + r1 + … rn 将怎样在所有 wrk 间分配，每一个 wrk 实例有办法找到自己的 r_i 吗？如何确保 r 的分配对所有 wrk 实例是公平的？ 这个问题的解就是 bbr 问题的解。

看一个更现实的例子。

如何判定找到一家好吃的饭店？很多人说看哪家饭店排队多。但这是非常矛盾的，为了一口好吃的，难道非要付出排队的代价吗？如果大家都想吃好吃的却又都不想排队，有没有什么办法找到一家不用排队，但大堂里只剩下一个位置的饭店呢？

事实上满座率 = 100%，等待率 = 0 的饭店才是最好的饭店。但更为现实的场景是，几乎所有饭店，要么外面排着等待就餐的长队，要么里面服务员比顾客人多，几千年人们都没有办法找到工作在 “最佳操作点” 的饭店。

把范围缩小到公司食堂范围，即使经理已经给出了针对不同部门的不同 “建议就餐时间”，当某个特定的人去吃饭时依然会看到有些档口排着长队，有些档口门可罗雀。除非经理为每个特定个人安排特定就餐时间，但这会增加经理成本，人员稍有变动就要重新来一遍，如此成本加持，“最佳操作点” 就不再最佳了。

除非你知道其它所有人的策略，否则对于单独个人，如果找不到 “最佳操作点”，不如说它根本不存在。

bbr 基于单流测速的一厢情愿方案注定只是一意孤行，在现实中各个领域，人们到处都在试图解决相同的问题，人们试图在统计的世界中寻找精确的解，但几千年都没找到。

人们憧憬 “刚刚好”，但现实给予的要么太多，要么不够。

很难找到一辆只剩下一个座位的公交车，如果你找到了并且坐到了那个仅剩的位置，下一个上来的就大概率要站着了，如果到达某站点，可能一下下去很多人，留出很多空位而不是恰好一个。

不存在 “刚刚好” 的期望会导致人们很多误判，而误判的结果具有累积效果，这种积累效果反过来让现实越发偏离 “刚刚好” 的期望，如此滚雪球一般。

形成判断要基于数据，凡是基于数据的分析都要承担滞后性风险，风险的累积性来自于单向时间，1 + 1 = 2，却不允许减法将 2 消除，只能靠除法将它稀释，在很久之后 2 / 10000000 约等于 0。要么过多，要么不够，不能将 “未来的过多” 沿着时间轴往前搬，以弥补 “现在的不够”，现在过多，万一未来也过多，就累积了，大致就这么解释。时间的单向是统计突发的根源。

最近关于时间借贷的想法亦来自于此，《利息原理》恰恰给出并深入分析了一个实际例子。

按照单向时间分析，结论很明显，如果网络提供了 buffer 用以吸收统计突发，只能将 “当前的过多” 沿时间轴向后搬，以弥补 “未来的不足”，在不可预测的未来同样过多时，buffer 则堆积，buffer 的大小影响的只是堆积程度。换句话说，buffer 倾向于 “总是会被填满”。

观察自然界，持续大流量河流附近特别是汇集处，非常容易形成湖泊，大自然是时间不耐。bbr 的问题等同于下面的描述。一条大河上有座大坝，如何才能让大坝不蓄水，就好像没有这座大坝一样，答案很简单，把大坝拆了，因为本来就没有这座大坝。如果在大坝上游再引入一条河注入，让大坝不蓄水就很难。为什么非要让大坝不蓄水呢，大坝本身的蓄水就是对枯水期的借贷，一种常平仓而已。bbr 对 buffer 的纠结等同于让大坝不蓄水。

展示一下问题：

图中夸大了 probe_gain 比例，意在突出重点，诚然，maxbw window，cruise 周期长度都会影响图中 buffer 膨胀程度，虽然 bbr 状态机承诺了 queue 总会 drain 掉，但掩盖不了图中前半段的事实，或者，可以从另一方面理解，reno/cubic 难道不也是承诺总会 drain 掉 queue 吗？

多流 bbr 的流程必须围绕 buffer 展开，10 rounds or 更小的 N rounds 周期并不改变围绕 buffer 膨胀的本质。 事实上当 deliver_rate < gain * pacing_rate 就足以说明发生了 buffer 挤占(时间借贷)，要彻底 drain，而不仅仅归还 5 / 4 * old_maxbw * min_rtt - new_maxbw * min_rtt，此时的 new_maxbw 是 buffer 作用下带宽重新分配的结果而不是空闲带宽。

bbr 的基本假设在事实上根本不存在。

前面餐厅的例子有个附加条件，好吃的餐厅才会排队，事实上这个条件完全可以去掉，任何统计复用系统，只要它将要满载，那么排队就是必然的，对于独立排队实体而言，该排队是不可预测和不可分析的(但对服务台却可以预测和分析)，即使不基于排队论分析，从单向时间也能自然推导出这一结论。

还是相同的论点，包括 bbr (作为统计复用实体)在内的端到端 cc 对系统状态的预判存在上限，该上限距离理论 “最优操作点” 甚远。无论怎么做都抓不到它，当你压缩 persist 度，规模也缩小了，当你放大它，却又模糊了。

皮鞋没有蹬上，露着白袜子。

浙江温州皮鞋湿，下雨进水不会胖。