本文主要是介绍从需求场景下出发实操Clickhouse,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
背景
本着以实时数仓为目标调研了几款OLAP引擎,像Clickhouse、Kylin、Druid等,在粗略了解其架构后,并且在接受各个大厂Clickhouse实践、高性能测试报告、最近业界发展势头凶猛的熏陶与PUA情况下,不得已选择了Clickhouse,当然自己也做过一些测试,本篇将介绍clickhouse的一些原理、实践方案(可能还未实现、可能并不是最佳)与遇到的一些问题,总之只是希望能够为您接下来选择clickhouse 或者解决一些问题提供一个参考的思路,仅此而已。
多维聚合
不得不说Clickhouse的这个操作确实是很快,应该也是吸引大家的地方。
首先是这种Shared nothing架构,每个节点都可以拥有自己的存储、cpu、内存,资源不共享,每一个节点都可以单独使用,使得其横向扩展能力很强,自然而然就增强了其计算能力;
列式存储方式,列式裁剪,每一列都生成单独的存储文件,不管是在数据压缩还是查询情况下都会有高性能的表现,因为只查询自己关心的列,可以快速过滤。补充一下只有在wide 的存储格式下才会每一列使用单独的存储文件,另外一种称之为compact,所有的列在同一份文件,这两种格式的控制是由写入数据量大小解决的,数据量小就是compact,那么就可以提高写入的性能了;
这篇关于从需求场景下出发实操Clickhouse的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!