HDFS读数据流程

HDFS采用的文件读取模式是“一个文件一旦创建，写入，关闭之后就不能修改”，保证了数据的一致性，并能够实现数据访问高吞吐量。
1.HDFS客户端通过调用分布式文件系统对象中的Open()来读取希望打开的文件;
2.Client向名称节点发起RPC请求，来确定文件block所在的位置;
3.名称节点会视情况返回文件的部分或者全部block列表，对于每个block，名称节点都会返回含有该block副本的数据节点地址；这些返回的数据节点，会按照集群拓扑结构得出数据节点与HDFS客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离Client近的排靠前；心跳机制中超时回报的数据节点状态为STALE,这样的排靠后;
4.Client选取排序靠前的数据节点来读取block，如果客户端本身就是数据节点，那么将从本地直接获取数据（短路读取特性);
5.底层上本质是建立FSDateInputStream,重复的调用父类DateInputStream的read方法，直到这个块上的数据读取完毕；
6.并行读取，若失败重新读取；
7.当读完列表的block后，若文件读取还没有结束，客户端会继续向名称节点获取下一批的block列表；
8.返回后续block列表；
9.最终关闭读流，并将读取来所有的block会合并成一个完整的最终文件。