本文主要是介绍hdfs数据块副本放置策略--1个在本机架的本节点,1个在本机架的另一个节点,1个在另一个机架的节点上,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在大多数情况下,副本系数是3,HDFS的存放策略是将一个副本存放在本机架的本节点上,一个副本放在同一机架的另一个节点上,最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输,这就提高了写操作的效率。机架的错误远远比节点的错误少,所以这个策略不会影响到数据的可靠性和可用性。于此同时,因为数据块只放在两个(不是三个)不同的机架上,所以此策略减少了读取数据时需要的网络传输总带宽。在这种策略下,副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上,三分之二的副本在一个机架上,其他副本均匀分布在剩下的机架中,这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。
参考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html#%E6%95%B0%E6%8D%AE%E5%AE%8C%E6%95%B4%E6%80%A7
副本1和数据块在同一个节点上(当然在同一个机架上),副本2在同一机架的另一个节点上,副本三在另外的一个机架上。
这篇关于hdfs数据块副本放置策略--1个在本机架的本节点,1个在本机架的另一个节点,1个在另一个机架的节点上的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!