hadoop mr的一些文件归属（包括临时文件的存储情况）

转载地址：http://blog.csdn.net/bxyz1203/article/details/8057810#comments

一、概述

一个计算的流程如下图所示，对于一个简单的wordcount的计算中，总共要经历哪些文件呢？本文将详细探讨这个话题。文章可能会重新编辑，如果想浏览最新内容请访问原创博客：http://blog.csdn.net/bxyz1203/article/details/8057810。由于作者个人知识面有限，如果描述有错误或者遗留之处敬请谅解，再欢迎指出，我们共同进步。

本文分析的是0.19.1版本。其实无论是哪个版本（除了最新的2）都差不多。

mr各种文件存储的大致目录：

在本地{mapred.local.dir}中存储job.xml。job.xml是client 的jobConf继承taskTracker的 jobConf得到的。

jobsetup会从hdfs中拷贝job.jar、job.xml到{mapred.local.dir}中；后map、reduce的一些临时数据会存储到{mapred.local.dir}中；最后Jobclean会删除此job在TaskTracker的{mapred.local.dir}及{output}/_temporary中产生的一些临时数据。

3.1、对于map中间产生的一些临时数据。这些文件是由SpillThread线程生成的。包括 索引文件spill.n.out.index及数据文件spill.n.out等，这些文件的组织相对比较复杂。最后会被reduce调用http RESTful请求来获取。

3.2、对于reduce的一部分数据会存储到hdfs的output的_temporary中，当reduce完成时会转移最终生成文件到输出根目录。（当然对于一般的情况下，reduce开始的阶段会从map的临时文件中拷贝数据，所以一般reduce不完成，map产生的数据也不会被删除）

4、日志文件（过程中产生的，没有具体的步骤。）

4.1、JobHistory存储在{output}/_logs/history中，这个也是最后剩下在hdfs中的日志了。分为两部分，一个部分存储jobclient提交的job.xml；一部分存储执行过程中的数据。这个日志我们一般可以拿来分析任务的执行过程，例如导入Gridmix模拟线上场景做压力测试。注意这里存储的job.xml是client 的jobConf继承JobTracker的 jobConf得到的。

4.2、还有一些文件日志都是放在计算执行过程中的磁盘上，参见：附二。基本在{HADOOP_HOME}/logs文件中。此些是System.out/err及log4j产生的一些日志。对于map、reduce的任务，由于是用户自定义的，可能产生的日志量非常大，我们一般会限制日志输出的大小或者条数。

一个job执行完成，其实在{mapred.sysrem.dir}/{jobid}及{mapred.local.dir}/{jobid}数据都会删除的。最终剩下的也就是：{output}中的一些文件，一般包括：part-r-xxxxx最终结果文件及JobHistory；再就是在各个本地磁盘上面的log日志了。

ps:

附一：看下{mapred.local.dir}的目录结构<其中jobTracker、taskTracker分别在各自的机器上面>