Hadoop MapReduce中如何处理跨行Block和inputSplit

2024-08-25 06:48

本文主要是介绍Hadoop MapReduce中如何处理跨行Block和inputSplit,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hadoop MapReduce中如何处理跨行Block和inputSplit
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7704
(出处: about云开发)


Hadoop的初学者经常会疑惑这样两个问题:
1.Hadoop的一个Block默认是64M,那么对于一个记录行形式的文本,会不会造成一行记录被分到两个Block当中?
2.在把文件从Block中读取出来进行切分时,会不会造成一行记录被分成两个InputSplit,如果被分成两个InputSplit,这样一个InputSplit里面就有一行不完整的数据,那么处理这个InputSplit的Mapper会不会得出不正确的结果?
对于上面的两个问题,首先要明确两个概念:Block和InputSplit
1. block是hdfs存储文件的单位(默认是64M);
2. InputSplit是MapReduce对文件进行处理和运算的输入单位,只是一个逻辑概念,每个InputSplit并没有对文件实际的切割,只是记录了要处理的数据的位置(包括文件的path和hosts)和长度(由start和length决定)。

因此,以行记录形式的文本,还真可能存在一行记录被划分到不同的Block,甚至不同的DataNode上去。通过分析FileInputFormat里面的getSplits方法,可以得出,某一行记录同样也可能被划分到不同的InputSplit。

public List<InputSplit> getSplits(JobContext job) throws IOException {  long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));  long maxSize = getMaxSplitSize(job);  // generate splits  List<InputSplit> splits = new ArrayList<InputSplit>();  List<FileStatus> files = listStatus(job);        for (FileStatus file: files) {  Path path = file.getPath();  long length = file.getLen();  if (length != 0) {  FileSystem fs = path.getFileSystem(job.getConfiguration());  BlockLocation[] blkLocations = fs.getFileBlockLocations(file, 0, length);  if (isSplitable(job, path)) {  long blockSize = file.getBlockSize();  long splitSize = computeSplitSize(blockSize, minSize, maxSize);  long bytesRemaining = length;  while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {  int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);  splits.add(makeSplit(path, length-bytesRemaining, splitSize,  blkLocations[blkIndex].getHosts()));  bytesRemaining -= splitSize;  }  if (bytesRemaining != 0) {  splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,  blkLocations[blkLocations.length-1].getHosts()));  }  } else { // not splitable  splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts()));  }  } else {   //Create empty hosts array for zero length files  splits.add(makeSplit(path, 0, length, new String[0]));  }  }  // Save the number of input files for metrics/loadgen  job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());  LOG.debug("Total # of splits: " + splits.size());  return splits;  
}  

复制代码

从上面的代码可以看出,对文件进行切分其实很简单:获取文件在HDFS上的路径和Block信息,然后根据splitSize
对文件进行切分,splitSize = computeSplitSize(blockSize, minSize, maxSize);blockSize,minSize,maxSize都可以配置,默认splitSize 就等于blockSize的默认值(64m)。
FileInputFormat对文件的切分是严格按照偏移量来的,因此一行记录比较长的话,其可能被切分到不同的InputSplit。但这并不会对Map造成影响,尽管一行记录可能被拆分到不同的InputSplit,但是与FileInputFormat关联的RecordReader被设计的足够健壮,当一行记录跨InputSplit时,其能够到读取不同的InputSplit,直到把这一行记录读取完成,在Hadoop里,记录行形式的文本,通常采用默认的TextInputFormat,TextInputFormat关联的是LineRecordReader,下面我们来看看LineRecordReader的的nextKeyValue方法里读取文件的代码:

while (getFilePosition() <= end) {  newSize = in.readLine(value, maxLineLength,  Math.max(maxBytesToConsume(pos), maxLineLength));  if (newSize == 0) {  break;  }  

复制代码
其读取文件是通过LineReader(in就是一个LineReader实例)的readLine方法完成的:

public int readLine(Text str, int maxLineLength,  int maxBytesToConsume) throws IOException {  if (this.recordDelimiterBytes != null) {  return readCustomLine(str, maxLineLength, maxBytesToConsume);  } else {  return readDefaultLine(str, maxLineLength, maxBytesToConsume);  }  
}  /** * Read a line terminated by one of CR, LF, or CRLF. */  
private int readDefaultLine(Text str, int maxLineLength, int maxBytesToConsume)  
throws IOException {  str.clear();  int txtLength = 0; //tracks str.getLength(), as an optimization  int newlineLength = 0; //length of terminating newline  boolean prevCharCR = false; //true of prev char was CR  long bytesConsumed = 0;  do {  int startPosn = bufferPosn; //starting from where we left off the last time  if (bufferPosn >= bufferLength) {  startPosn = bufferPosn = 0;  if (prevCharCR)  ++bytesConsumed; //account for CR from previous read  bufferLength = in.read(buffer);  if (bufferLength <= 0)  break; // EOF  }  for (; bufferPosn < bufferLength; ++bufferPosn) { //search for newline  if (buffer[bufferPosn] == LF) {  newlineLength = (prevCharCR) ? 2 : 1;  ++bufferPosn; // at next invocation proceed from following byte  break;  }  if (prevCharCR) { //CR + notLF, we are at notLF  newlineLength = 1;  break;  }  prevCharCR = (buffer[bufferPosn] == CR);  }  int readLength = bufferPosn - startPosn;  if (prevCharCR && newlineLength == 0)  --readLength; //CR at the end of the buffer  bytesConsumed += readLength;  int appendLength = readLength - newlineLength;  if (appendLength > maxLineLength - txtLength) {  appendLength = maxLineLength - txtLength;  }  if (appendLength > 0) {  str.append(buffer, startPosn, appendLength);  txtLength += appendLength;  }  } while (newlineLength == 0 && bytesConsumed < maxBytesToConsume);   <span style="color: #ff0000;">//①</span>  if (bytesConsumed > (long)Integer.MAX_VALUE)  throw new IOException("Too many bytes before newline: " + bytesConsumed);      return (int)bytesConsumed;  
}  

复制代码

我们分析下readDefaultLine方法,do-while循环体主要是读取文件,然后遍历读取的内容,找到默认的换行符就终止循环。前面说,对于跨InputSplit的行,LineRecordReader会自动跨InputSplit去读取。这就体现在上述代码的While循环的终止条件上:
while (newlineLength == 0 && bytesConsumed < maxBytesToConsume);
newlineLength==0则以为一次do-while循环中读取的内容中没有遇到换行符,因maxBytesToConsume的默认值为Integer.MAX_VALUE,所以如果读取的内容没有遇到换行符,则会一直读取下去,知道读取的内容超过maxBytesToConsume。这样的出来方式,解决了一行记录跨InputSplit的读取问题,同样也会造成下面两个疑问:
1.既然在LineReader读取方法里面没有对考虑InputSplit的end进行处理,难道读取一个InputSplit的时候,会这样无限的读取下去么?
2.如果一行记录L跨越了A,B两个InputSplit,读A的时候已经读取了跨越A,B的这条记录L,那么对B这个InputSplit读取的时候,如果做到不读取L这条记录在B中的部分呢?
为了解决这两个问题,Hadoop通过下面的代码来做到:LineRecordReader的nextKeyValue方法。

public boolean nextKeyValue() throws IOException {  if (key == null) {  key = new LongWritable();  }  key.set(pos);  if (value == null) {  value = new Text();  }  int newSize = 0;  // We always read one extra line, which lies outside the upper  // split limit i.e. (end - 1)  while (getFilePosition() <= end) {        <span style="color: #ff0000;"> //②</span>  newSize = in.readLine(value, maxLineLength,  Math.max(maxBytesToConsume(pos), maxLineLength));  if (newSize == 0) {  break;  }  pos += newSize;  inputByteCounter.increment(newSize);  if (newSize < maxLineLength) {  break;  }  // line too long. try again  LOG.info("Skipped line of size " + newSize + " at pos " +   (pos - newSize));  }  if (newSize == 0) {  key = null;  value = null;  return false;  } else {  return true;  }  
}  

复制代码

过代码②处得While条件,就保证了InputSplit读取边界的问题,如果存在跨InputSplit的记录,也只好跨InputSplit读取一次。
再来看LineRecordReader的initialize方法:

// If this is not the first split, we always throw away first record  
// because we always (except the last split) read one extra line in  
// next() method.  
if (start != 0) {  start += in.readLine(new Text(), 0, maxBytesToConsume(start));  
}  
this.pos = start;  

复制代码
如果不是第一InputSplit,则在读取的时候,LineRecordReader会自动忽略掉第一个换行符之前的所有内容,这样就不存在重读读取的问题。

个人理解

这篇关于Hadoop MapReduce中如何处理跨行Block和inputSplit的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1104847

相关文章

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

一文详解Java异常处理你都了解哪些知识

《一文详解Java异常处理你都了解哪些知识》:本文主要介绍Java异常处理的相关资料,包括异常的分类、捕获和处理异常的语法、常见的异常类型以及自定义异常的实现,文中通过代码介绍的非常详细,需要的朋... 目录前言一、什么是异常二、异常的分类2.1 受检异常2.2 非受检异常三、异常处理的语法3.1 try-

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

Java Response返回值的最佳处理方案

《JavaResponse返回值的最佳处理方案》在开发Web应用程序时,我们经常需要通过HTTP请求从服务器获取响应数据,这些数据可以是JSON、XML、甚至是文件,本篇文章将详细解析Java中处理... 目录摘要概述核心问题:关键技术点:源码解析示例 1:使用HttpURLConnection获取Resp

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Java字符串处理全解析(String、StringBuilder与StringBuffer)

《Java字符串处理全解析(String、StringBuilder与StringBuffer)》:本文主要介绍Java字符串处理全解析(String、StringBuilder与StringBu... 目录Java字符串处理全解析:String、StringBuilder与StringBuffer一、St

浅析Java中如何优雅地处理null值

《浅析Java中如何优雅地处理null值》这篇文章主要为大家详细介绍了如何结合Lambda表达式和Optional,让Java更优雅地处理null值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录场景 1:不为 null 则执行场景 2:不为 null 则返回,为 null 则返回特定值或抛出异常场景

深入理解Apache Kafka(分布式流处理平台)

《深入理解ApacheKafka(分布式流处理平台)》ApacheKafka作为现代分布式系统中的核心中间件,为构建高吞吐量、低延迟的数据管道提供了强大支持,本文将深入探讨Kafka的核心概念、架构... 目录引言一、Apache Kafka概述1.1 什么是Kafka?1.2 Kafka的核心概念二、Ka