Hadoop入门实践之从WordCount程序说起

2024-04-28 22:38
文章标签 实践 程序 入门 hadoop 说起 wordcount

本文主要是介绍Hadoop入门实践之从WordCount程序说起，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

这段时间需要学习Hadoop了，以前一直听说Hadoop，但是从来没有研究过，这几天粗略看完了《Hadoop实战》这本书，对Hadoop编程有了大致的了解。接下来就是多看多写了。以Hadoop自带的例子WordCount程序开始，来记录我的Hadoop学习过程。

Hadoop自带例子WordCount.java

[java]  view plain copy
  1. /** 
  2.  *  Licensed under the Apache License, Version 2.0 (the "License"); 
  3.  *  you may not use this file except in compliance with the License. 
  4.  *  You may obtain a copy of the License at 
  5.  * 
  6.  *      http://www.apache.org/licenses/LICENSE-2.0 
  7.  * 
  8.  *  Unless required by applicable law or agreed to in writing, software 
  9.  *  distributed under the License is distributed on an "AS IS" BASIS, 
  10.  *  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
  11.  *  See the License for the specific language governing permissions and 
  12.  *  limitations under the License. 
  13.  */  
  14.   
  15.   
  16. package org.apache.hadoop.examples;  
  17.   
  18. import java.io.IOException;  
  19. import java.util.StringTokenizer;  
  20.   
  21. import org.apache.hadoop.conf.Configuration;  
  22. import org.apache.hadoop.fs.Path;  
  23. import org.apache.hadoop.io.IntWritable;  
  24. import org.apache.hadoop.io.Text;  
  25. import org.apache.hadoop.mapreduce.Job;  
  26. import org.apache.hadoop.mapreduce.Mapper;  
  27. import org.apache.hadoop.mapreduce.Reducer;  
  28. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  29. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  30. import org.apache.hadoop.util.GenericOptionsParser;  
  31.   
  32. public class WordCount {  
  33.   
  34.   public static class TokenizerMapper   
  35.        extends Mapper<Object, Text, Text, IntWritable>{  
  36.       
  37.     private final static IntWritable one = new IntWritable(1);  
  38.     private Text word = new Text();  
  39.         
  40.     public void map(Object key, Text value, Context context  
  41.                     ) throws IOException, InterruptedException {  
  42.       StringTokenizer itr = new StringTokenizer(value.toString());  
  43.       while (itr.hasMoreTokens()) {  
  44.         word.set(itr.nextToken());  
  45.         context.write(word, one);  
  46.       }  
  47.     }  
  48.   }  
  49.     
  50.   public static class IntSumReducer   
  51.        extends Reducer<Text,IntWritable,Text,IntWritable> {  
  52.     private IntWritable result = new IntWritable();  
  53.   
  54.     public void reduce(Text key, Iterable<IntWritable> values,   
  55.                        Context context  
  56.                        ) throws IOException, InterruptedException {  
  57.       int sum = 0;  
  58.       for (IntWritable val : values) {  
  59.         sum += val.get();  
  60.       }  
  61.       result.set(sum);  
  62.       context.write(key, result);  
  63.     }  
  64.   }  
  65.   
  66.   public static void main(String[] args) throws Exception {  
  67.     Configuration conf = new Configuration();  
  68.     String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();  
  69.     if (otherArgs.length != 2) {  
  70.       System.err.println("Usage: wordcount <in> <out>");  
  71.       System.exit(2);  
  72.     }  
  73.     Job job = new Job(conf, "word count");  
  74.     job.setJarByClass(WordCount.class);  
  75.     job.setMapperClass(TokenizerMapper.class);  
  76.     job.setReducerClass(IntSumReducer.class);  
  77.     job.setOutputKeyClass(Text.class);  
  78.     job.setOutputValueClass(IntWritable.class);  
  79.     FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  80.     FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  81.     System.exit(job.waitForCompletion(true) ? 0 : 1);  
  82.   }  
  83. }  
这个程序的功能是对文件中各个单词的数目进行统计。

在Wordount.java中有两个静态内部类TokenizerMapper，IntSumReducer，关于静态内部类，可以参考另一篇文章 Java中的静态内部类。这两个类分别对应与MapReduce中的map和reduce。至于为什么要用静态的内部类，个人理解是这样的：一般一个简单作业（Job）包含了一个map过程和一个reduce过程，Job，Map，Reduce写在一个文件中便于文件的组织。但是，Hadoop内部需要使用反射的方式来实例化客户端的Map和Reduce，所以使用了静态内部类的方式，参考了StackOverflow上的一个帖子： Do Mappers and Reducers in Hadoop have to be static classes?，如果不许要将Job，Map和Reduce组织在一起，完全可以将这三个类写在三个类文件中。

在程序的main函数中首先实例化一个Configuration，用于加载Hadoop的配置信息，然后就解析给程序传递的参数，这里我们传递了两个字符串参数，经过解析之后保存在有两个元素的数组otherArgs中，其中otherArgs[0]为要进行统计的文件的路径，otherArgs[1]为经过MapReduce计算之后的结果所保存的位置。
[java]  view plain copy
  1. Job job = new Job(conf, "word count");  
语句实例化一个Job对象，然后就为Job对像指定运行时所需的类
[java]  view plain copy
  1. job.setJarByClass(WordCount.class);  
表示告诉Hadoop集群，作业从哪个类开始运行，
[java]  view plain copy
  1. job.setMapperClass(TokenizerMapper.class);  
表示执行哪个类的map方法，我们这里指定的是方法
[java]  view plain copy
  1. public void map(Object key, Text value, Context context  
  2.                    ) throws IOException, InterruptedException {  
  3.      StringTokenizer itr = new StringTokenizer(value.toString());  
  4.      while (itr.hasMoreTokens()) {  
  5.        word.set(itr.nextToken());  
  6.        context.write(word, one);  
  7.      }  
  8.    }  
这个方法对要进行map的每行数据，使用StringTokenizer类进行分割，分割出来的值在保存到context中进行，从而在reduce中进行单词数量统计。
[java]  view plain copy
  1. job.setReducerClass(IntSumReducer.class);  
这行语句设置用于进行Reduce的类，告诉Hadoop集群执行哪个reduce函数：
[java]  view plain copy
  1. public void reduce(Text key, Iterable<IntWritable> values,   
  2.                       Context context  
  3.                       ) throws IOException, InterruptedException {  
  4.      int sum = 0;  
  5.      for (IntWritable val : values) {  
  6.        sum += val.get();  
  7.      }  
  8.      result.set(sum);  
  9.      context.write(key, result);  
  10.    }  
在这个函数执行之前，Hadoop已经为我们将各个单词的个数大概的归并在一起了，函数的前两个参数是Text 类型和Iterable类型，参数名分别为key和alues，其中在这里key表示在map方法中分割得到的单词，values表示在map阶段统计的单词的数量（由于reduce阶段接收到多个数据结点发送过来的统计结果，所以对应于一个key，可能有多个value，所以将这些value都保存在一迭代器中，然后对迭代器进行遍历，这个过程以后再讨论。），遍历values迭代器，对每个key的数量进行汇总，然后再记录在context中。
[java]  view plain copy
  1. job.setOutputKeyClass(Text.class);  
  2. job.setOutputValueClass(IntWritable.class);  
表示MapReduce执行结束之后，将结果保存在HDFS中时，保存的数据类型。这里将结果的key以Text类型保存，value以IntWritable类型保存。
[java]  view plain copy
  1. FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  2. FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
分别表示输入和输出的路径。

这个程序相对于Hadoop的例子，我去掉了
[java]  view plain copy
  1. job.setCombinerClass(IntSumReducer.class);  
这行语句，在Hadoop中，Combiner主要用于提升Hadoop的处理效率，为了集中于理解MapReduce，我去掉了这行代码，待以后讨论提升Hadoop性能时，再学习Combiner。
原文地址： 点击打开链接

这篇关于Hadoop入门实践之从WordCount程序说起的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/944443。

相关文章

Java调用DeepSeek API的最佳实践及详细代码示例

Java调用DeepSeek API的最佳实践及详细代码示例

《Java调用DeepSeekAPI的最佳实践及详细代码示例》：本文主要介绍如何使用Java调用DeepSeekAPI,包括获取API密钥、添加HTTP客户端依赖、创建HTTP请求、处理响应、... 目录1. 获取API密钥2. 添加HTTP客户端依赖3. 创建HTTP请求4. 处理响应5. 错误处理6.
阅读更多...
golang内存对齐的项目实践

golang内存对齐的项目实践

《golang内存对齐的项目实践》本文主要介绍了golang内存对齐的项目实践,内存对齐不仅有助于提高内存访问效率,还确保了与硬件接口的兼容性,是Go语言编程中不可忽视的重要优化手段,下面就来介绍一下... 目录一、结构体中的字段顺序与内存对齐二、内存对齐的原理与规则三、调整结构体字段顺序优化内存对齐四、内
阅读更多...
在不同系统间迁移Python程序的方法与教程

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术（如Docker）、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术（如 docker）1. 创
阅读更多...
C++实现封装的顺序表的操作与实践

C++实现封装的顺序表的操作与实践

《C++实现封装的顺序表的操作与实践》在程序设计中,顺序表是一种常见的线性数据结构,通常用于存储具有固定顺序的元素,与链表不同,顺序表中的元素是连续存储的,因此访问速度较快,但插入和删除操作的效率可能... 目录一、顺序表的基本概念二、顺序表类的设计1. 顺序表类的成员变量2. 构造函数和析构函数三、顺序表
阅读更多...
python实现简易SSL的项目实践

python实现简易SSL的项目实践

《python实现简易SSL的项目实践》本文主要介绍了python实现简易SSL的项目实践,包括CA.py、server.py和client.py三个模块,文中通过示例代码介绍的非常详细,对大家的学习... 目录运行环境运行前准备程序实现与流程说明运行截图代码CA.pyclient.pyserver.py参
阅读更多...
使用C++实现单链表的操作与实践

使用C++实现单链表的操作与实践

《使用C++实现单链表的操作与实践》在程序设计中,链表是一种常见的数据结构,特别是在动态数据管理、频繁插入和删除元素的场景中,链表相比于数组,具有更高的灵活性和高效性,尤其是在需要频繁修改数据结构的应... 目录一、单链表的基本概念二、单链表类的设计1. 节点的定义2. 链表的类定义三、单链表的操作实现四、
阅读更多...
Spring Boot统一异常拦截实践指南(最新推荐)

Spring Boot统一异常拦截实践指南(最新推荐)

《SpringBoot统一异常拦截实践指南(最新推荐)》本文介绍了SpringBoot中统一异常处理的重要性及实现方案,包括使用`@ControllerAdvice`和`@ExceptionHand... 目录Spring Boot统一异常拦截实践指南一、为什么需要统一异常处理二、核心实现方案1. 基础组件
阅读更多...
SpringBoot项目中Maven剔除无用Jar引用的最佳实践

SpringBoot项目中Maven剔除无用Jar引用的最佳实践

《SpringBoot项目中Maven剔除无用Jar引用的最佳实践》在SpringBoot项目开发中,Maven是最常用的构建工具之一,通过Maven,我们可以轻松地管理项目所需的依赖,而,... 目录1、引言2、Maven 依赖管理的基础概念2.1 什么是 Maven 依赖2.2 Maven 的依赖传递机
阅读更多...
Oracle查询优化之高效实现仅查询前10条记录的方法与实践

Oracle查询优化之高效实现仅查询前10条记录的方法与实践

《Oracle查询优化之高效实现仅查询前10条记录的方法与实践》：本文主要介绍Oracle查询优化之高效实现仅查询前10条记录的相关资料,包括使用ROWNUM、ROW_NUMBER()函数、FET... 目录1. 使用 ROWNUM 查询2. 使用 ROW_NUMBER() 函数3. 使用 FETCH FI
阅读更多...
在C#中获取端口号与系统信息的高效实践

在C#中获取端口号与系统信息的高效实践

《在C#中获取端口号与系统信息的高效实践》在现代软件开发中,尤其是系统管理、运维、监控和性能优化等场景中,了解计算机硬件和网络的状态至关重要,C#作为一种广泛应用的编程语言,提供了丰富的API来帮助开... 目录引言1. 获取端口号信息1.1 获取活动的 TCP 和 UDP 连接说明：应用场景：2. 获取硬
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2