本文主要是介绍大数据【五十三】【转】MapReduce之RecordWriter理解，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
RecordWriter:其实主要就是负责将task的key/value结果写入内存或者磁盘
一 方法分析
1.1 write：写key/value键值对
1.2 close: 关闭RecordWriter
二 RecordWriter运行流程分析
2.1 Map Task Record Writer运行流程分析
#Map Task#runNewMapper会根据是否当前程序需要运行Reduce来创建不同的RecordWriter：没有Reduce任务，则创建NewDirectOutput
Collector对象；否则需要创建NewOutputCollector对象
#每一次调用map方法结束都会调用context.wirte方法，将key/value写入内存或者磁盘
#write方法又会调用NewOutputCollector#collect方法，collect方法开始将key/value写入内存，如果达到阀值则将内存的数据溢写到磁盘
#程序运行结束，根据情况看是否需要合并产生的溢写文件，如果太多，是有必要进行一次merge的
2.2 Reduce Task Record Writer运行流程分析
# Reduce Task#runNewReducer会构造NewTrackingRecordWriter对象
#这个对象会调用OutputFormat#getRecordWriter对象，默认我们用的是TextOutputFormat，然后它对应的RecordWriter就是LineRecord
Writer对象
#然后每次reduce方法执行完毕，都会调用context.write(key，value)
这时候LineRecordWriter就会把key/value写入输出文件
三 常见的RecordWriter
3.1 DBRecordWriter: 将reduce结果写入sql表中
3.2 LineRecordWriter: 将key/value写入输出文件一行中
3.3 NewDirectOutputCollector: 它默认调用的也是LineRecordWriter，输出结果写入输出文件
3.4 NewOutputCollector: 将key/value写入内存，内存满了写入磁盘，一般情况在Map阶段
————————————————
版权声明：本文为CSDN博主「happy19870612」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/zhanglh046/article/details/78557495
这篇关于大数据【五十三】【转】MapReduce之RecordWriter理解的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
