本文主要是介绍flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
背景
在处理flink的数据流时，比如处理商品流时，一般我们从kafka中只拿到了商品id，此时我们需要把商品的其他配置信息比如品牌品类等也拿到，此时就需要关联上外部配置表来达到丰富数据流的目的，如果外部配置表很大，我们如何才能做到加载到内存中并完成丰富数据流的目的呢？
丰富数据流
有两种方式可以实现丰富数据流的效果，一种是把外部配置表所有数据加载到每个TaskManager的内存中，另一种是每个TaskManager只需要加载一部分外部配置表的数据，如下所示：
总结：
当外部配置表的数据量很大时，我们可以采用每个TaskManager加载一部分数据的方式来达到数据增强的效果，至于每个TaskManager加载多少，取决于算子并行度，并行度越高，每个TaskManager就可以加载越少的数据
这篇关于flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
