（转）HBase为什么不建议设置过多的列簇？

本文主要是介绍（转）HBase为什么不建议设置过多的列簇？，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在HBase中，是允许设置多个列簇的，但是为什么在实际生产中会设置很少的列簇呢？一般设置在1至3个左右，尽量是越少越好。
原因有多个方面，具体简要说明几点：

1、列簇的数量对flush的影响
在一个RegionServer上有一个或多个region，每个region又由一个或多个store组成，一个store存储的就是一个列簇，也就是说列簇的数量越多，每个region的的store就越多，那么region中的memstore数量就会就多，当memstore达到一定的阈值时，就会将memstore中的数据flush到storeFile中，每次flush都会产生IO，当memstore数量增多时，需要flush的就越多，就会影响了flush的IO性能及消耗更多的集群资源，甚至会造成memstore的flush阻塞现象。

2、列簇的数量对split的影响
在region的大小超过一定的大小时(hbase.hregion.max.filesize参数)，region就会分裂，当然region的分裂并不是region中所有的文件大小大于上述的参数就分裂，而是region中最大的storeFile的大小达到了上述参数的值时才会触发region分裂，如果列簇的数量过多的话，并且这些列簇之间的数据量相差很大，那么在region分裂后原本数据量小的storeFile就会拆分成更小的文件，在scan范围数据时就会影响该列簇数据的读性能，因为region的分裂针对的是所有的列簇，并不是某单个的列簇，是为了保证分裂之后相同行的数据在仍在一个region上。

3、列簇的数量对compaction的影响
同样的，compaction的操作针对的是region的操作，在列簇越多时，相关文件就会越多，region合并时产生的IO就会消耗越多，加大了资源的消耗。

4、列簇的数量对HDFS的影响
HDFS对目录下的文件数量是有限制的（dfs.namenode.fs-limits.max-directory-items），例如region的数量为m个，列簇的数量为n个，那么对应的文件数量就有mn个，但是每个store下的storeFile(HFile)的数量至少有一个，假设有K个，那么总共对应的文件数量就有mn*k个，列簇的数量是文件数量的n倍。

5、列簇的数量对RegionServer内存的影响
在一个store中存储的就是一个列簇，store中的memstore是内存结构，当列簇越多，那么memstore的数量就越多，占用的内存的空间就会越多。

总结：根据实际生产需求，能够用一个列簇解决的就尽量用一个列簇，当两个列簇的数量相差悬殊时，可以将其两个列簇的数据拆分为两个表的单个列簇。
————————————————
版权声明：本文为CSDN博主「已个人」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43888806/article/details/100127854

这篇关于（转）HBase为什么不建议设置过多的列簇？的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---