本文主要是介绍flink state 理解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
两种state:operatorState keyedState
1.operatorState只提供了ListState
2.keyedState提供了ValueState,ListState,ReducingState,MapState
operatorStateStore的默认实现只有DefaultOperatorStateBackend可以看到他的状态都是存储在堆内存之中,
而keyedState根据backend配置的不同,线上都是存储在rocksdb之中
Kafka速度的秘诀在于,它把所有的消息都变成一个批量的文件,并且进行合理的批量压缩,减少网络IO损耗,
通过mmap提高I/O速度,写入数据的时候由于单个Partion是末尾添加所以速度最优;读取数据的时候配合sendfile直接暴力输出。
AggregateFunction
Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。
由于是迭代计算方式,所以,在窗口处理过程中,不用缓存整个窗口的数据,所以效率执行比较高。
ACC createAccumulator(); 迭代状态的初始值
ACC add(IN value, ACC accumulator); 每一条输入数据,和迭代数据如何迭代
ACC merge(ACC a, ACC b); 多个分区的迭代数据如何合并
OUT getResult(ACC accumulator); 返回数据,对最终的迭代数据如何处理,并返回结果
du -h --max-depth=1
ValueState:这保留了一个可以更新和检索的值(如上所述,作用于输入元素的key的范围,因此运算看到的每个key可能有一个值)。
可以使用update(T)设置该值,并使用T value()检索该值。
ListState:保留的元素列表。您可以追加元素并在所有当前存储的元素上检索Iterable。
使用add(T)或addAll(List)添加元素,可以使用Iterable get()检索Iterable。您还可以使用update(List)重写现有的list。
ReducingState:保留一个值,表示添加到状态的所有值的聚合。该接口类似于ListState,
不过是使用add(T)添加的元素,reduced一个聚合是使用特定的ReduceFunction。
AggregatingState<IN, OUT>:保留一个值表示添加到状态的所有值的聚合。与ReducingState相反,
聚合类型可能与添加到状态的元素类型不同。接口与ListState相同,不过是使用add(T)添加的元素,reduced一个聚合是使用特定的AggregateFunction。
这篇关于flink state 理解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!