本文主要是介绍HDFS的写入流程及副本复制策略,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
步骤补充
1.向namenode发送请求上传文件 然后在namenode里会进行检查是否存在该文件,权限问题 通过则给一个输出流对象
2.建立好pipeline管道后,客户端先把文件写入缓存中,达到一个块的大小时,会与第一个datanode建立连接开始流式的传输数据,这个datanode会一小部分一小部分的(4k)接受数据然后写入本地仓库,同时把这些数据传输到第二个datanode上;
第二个datanode同样完成上面的操作,再传到第三个datanode ;
3. 整个上传完成后,namenode更新内存元数据 关闭流(因为是IO操作的)
副本复制策略
1、Client 在哪发起的上传请求。
1)如果说客户端发起请求的位置在HDFS集群中,client会执行就近原则,存储Client所在机器节点上 这是对于第一个副本来说
2)如果client 不再HDFS上发送上传请求,第一副本会随机选择一个节点
2、第二份副本为了安全考虑 在不同机架上的随机节点上;
3、第三份副本 与第二份副本在相同机架上的不同节点
这篇关于HDFS的写入流程及副本复制策略的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!