什么是 Back Pressure 如果看到任务的背压警告（如 High 级别），这意味着 生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告，这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink 正在向 Source 施加反压。 许多情况都会导致背压。例如，GC导致传入数据堆积，或者数据源在发送数

这里写目录标题 一级目录二级目录三级目录 一级目录 二级目录 三级目录

背景 在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，也就是每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长；越来越多的数据被接收，但是数据的处理速度没有跟上，导致系统开始出现数据堆积，可能进

忘记贴个中文题面了~~ 作为前来上海大学参加ICPC比赛的退役ACMer现役JBer，小明每次来上海大学参加比赛，都会打铁。心里就会产生一种"这是什么JB比赛"的念头。为了排解痛苦，他就会去上海的迪士尼坐过山车。他很喜欢这种血压拉满的感觉，让他感觉自己如同变成了一只"快乐"的Flappy Bird，忘记了所有的WA和TLE…… 过山车有一系列的高低起伏的转折点，各个转折点的高度，按照路径顺序形

Q: what is the accuracy of the sensor? A: the sensor depends on the model. Normally, it is about one thousandth. Q: what is the accuracy of one thousandth and 100N error? A: one thousandth accuracy

PSI——压力阻塞信息 当CPU、memory或IO设备处于竞争状态，业务负载会遭受时延毛刺、吞吐量降低， 及面临OOM的风险。 如果没有一种准确的方法度量系统竞争程度，则有两种后果：一种是用户过于节制， 未充分利用系统资源；另一种是过度使用，经常性面临业务中断的风险。 psi特性能够识别和量化资源竞争导致的业务中断，及其对复杂负载乃至整个系统在 时间上的影响。 准确度量因资源不足造成的生

写这篇博客只为三件事，速度！速度！还是速度！ 目前的研究需要气象数据，之前使用的NASA的MERRA2数据。其特点为文件多，单文件体积小。下载方式一个插件和一个downThenAll就解决了（网站机制问题：需要定期刷新）。现如今改战ERA5，sing level的还好说，一个4G左右，用网页端直接下载，慢的时候多点刷新也就完了。最令人智熄的还是其中的RH，一年共330万数据，得分三次、两个账号提

现象： k8s集群中某台计算节点上pod大量处于驱逐状态，通过describe node发现该node上有Taints: node.kubernetes.io/disk-pressure:NoSchedule 污点。 分析： 查阅文档提示磁盘不足，因为时间紧张，就快速通过df -h命令查看当前磁盘情况，并在可疑的主要目录执行du -d 1 -h |sort -hr查看文件夹大小并删除一部分无