数据蒋堂 | 数据分布背后的逻辑

作者：蒋步星

来源：数据蒋堂

本文共1100字，建议阅读7分钟。
在分布式数据库及大数据平台中，数据如何分布到多台机器中是个很关键的问题。

在分布式数据库及大数据平台中，数据如何分布到多台机器中是个很关键的问题。因为很多运算是数据密集型的，如果数据分布做得不好，就会导致网络传输量变大，从而影响性能。

一般来讲，分布式数据库会提供两种分布策略：对于大表按某个字段（的HASH值）去分布，大多数情况会使用主键，这样可以把数据分拆到多台机器上；对于小表则采用复制性分布，也就是每个机器上都会复制一份。

但是，表的大小并没有绝对的判定标准，很大很小的表都容易识别并采取相应的策略，而那些数据不多不少的中型数据表又该采取哪种策略呢？

要搞清这个问题，我们就要知道数据分布背后的逻辑，什么样的数据分布才算是好的？

合理的数据分布能够有效地减少JOIN运算过程中的网络传输量！这也是数据分布的关键目标。

大部分常规运算都容易分拆到多个机器上分别执行后再汇总，这样，原则上数据只要尽量平均分布就可以由各节点来分摊计算负担。但是JOIN不一样，它涉及关联计算，如果JOIN的两条记录不在同一个节点上，那就需要把它们先传输到一起才能进行运算，这种事当然越少越好了。

那么怎样才能尽量避免JOIN过程中的数据传输呢？

这又要回到我们已经讨论过多次的JOIN类型。回顾一下去年的文章《JOIN运算剖析》，我们把JOIN分成三类：外键、同维、主子。同维表和主子表的JOIN是在主键（或部分）之间进行的，主键不同的两条记录是不可能发生JOIN的，这样，如果数据已经按主键分布的，就不会发生跨节点JOIN的现象了。而外键表的JOIN，维表记录可能被事实表随意引用，无论怎样将维表分布，都有可能发生跨节点JOIN的现象，只有将维表复制到每个节点上去，才能避免JOIN过程中的网络传输。

这样，我们就知道了：同维表和主子表要按主键字段去分布，而维表则要采用复制性策略，每节点都放一份，这样能有效减少跨节点JOIN运算。

但这和大表小表有什么关系？

一般来讲，记录事件的事实表会随着时间推移而不断增大，常常是大表，而这种表之间的JOIN大多数是同维表或主子表（比如订单及明细）关系。而用于外键指向的维表主要是用于存储一些不常变化的属性信息，相对要小一点。于是，本来是事实表要分拆分布、维表要复制分布的策略，就会表现成“大表”分拆、“小表”复制的特征了。

明白了这一点，我们就不会再纠结大表小表的界限在哪里了，其实没有大小之分，而是在数据结构中的地位决定的。

不过，关系数据库中并没有明确的事实表和维表概念，需要我们主动地去识别，有意识地设置分布方案。而且，一定要用主键去分布，随便找一个无关字段去分布，就起不到减少跨节点JOIN的作用了。

有些大数据平台只提供自动（按大小）分布的方案，不能强制复制维表，也不能让同维表和主子表按主键同步分布，这时候分布式计算的效果就不会好了，在选择这些计算体系时需要特别注意。

专栏作者简介

润乾软件创始人、首席科学家

清华大学计算机硕士，中国大数据产业生态联盟专家委员，著有《非线性报表模型原理》等，1989年，中国首个国际奥林匹克数学竞赛团体冠军成员，个人金牌；2000年，创立润乾公司；2004年，首次在润乾报表中提出非线性报表模型，完美解决了中国式复杂报表制表难题，目前该模型已经成为报表行业的标准；2014年，经过7年开发，润乾软件发布不依赖关系代数模型的计算引擎——集算器，有效地提高了复杂结构化大数据计算的开发和运算效率；2015年，润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”；2016、2017年，荣获中国电子信息产业发展研究院评选的“中国软件和信息服务业十大领军人物”；2017年度中国数据大工匠、数据领域专业技术讲堂《数据蒋堂》创办者。

数据蒋堂

《数据蒋堂》的作者蒋步星，从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞，虚拟与现实的相互交织，产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点，站在研发人员的角度从浅入深，进行全方位、360度无死角深度剖析；对于一些业内观点，站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展，站在业内专家角度给予预测和推断。静下心来认真研读你会发现，《数据蒋堂》的文章，有的会让用户避免重复前人走过的弯路，有的会让攻城狮面对扎心的难题茅塞顿开，有的会为初入行业的读者提供一把开启数据世界的钥匙，有的甚至会让业内专家大跌眼镜，产生思想交锋。

数据蒋堂第二年往期回顾：

数据蒋堂 | 莫非我就是被时代呼唤的数学人

数据蒋堂 | SQL是描述性语言？

数据蒋堂 | 存储和计算技术的选择

数据蒋堂 | 人工智能中的“人工”

数据蒋堂 | 中国报表漫谈

数据蒋堂 | 内存数据集产生的隐性成本

数据蒋堂 | 多维分析预汇总的功能盲区

数据蒋堂 | 多维分析预汇总的存储容量

数据蒋堂 | 多维分析预汇总的方案探讨

数据蒋堂 | 数据库的封闭性

数据蒋堂 | 内存数据集产生的隐性成本

数据蒋堂 | 前半有序的大数据排序

数据蒋堂 | “后半”有序的分组

数据蒋堂 | 时序数据从分表到分库

数据蒋堂 | BI系统的前置计算

数据蒋堂 | 性能优化是个手艺活