hadoop examples(wordcount.class)例子

2024-04-30 21:32

本文主要是介绍hadoop examples(wordcount.class)例子,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

今天我们学习了一个hadoop下的examples,全名是hadoop-mapreduce-examples-2.8.0.jar
hadoop-mapreduce-examples-2.8.0.jar下,有很多的算法,用来实现很多的功能。其中有个wordcount.txt,功能是统计文件内容的个数(按空格分隔)。

例题

开启hadoop

[root@Tyler01 ~]# start-all.sh

创建一个有内容的文件 word.txt

[root@Tyler01 ~]# vi word.txthello tyler
hello kopmgkomg
hello tylerhjghjghjghjgjh
hello as
hello pp
hello as
hello pp
hello as
hello daniu
hello daniu

在hdfs上创建个目录

[root@Tyler01 ~]# hadoop fs -mkdir /wc/

将文件上传到hdfs上

hadoop fs -put ./word.txt /wc/input

执行hadoop官方提供的mapreduce的wordcount的例子
首先进入到/home/tyler/apps/hadoop-2.8.0/share/hadoop/mapreduce目录下

[root@Tyler01 mapreduce]#hadoop jar hadoop-mapreduce-examples-2.8.0.jar wordcount /wc/word.txt /wc/output/

命令说明:
hadoop jar :用hadoop发方式运行jar文件
hadoop-mapreduce-examples-2.8.0.jar:具体的jar文件
wordcountjar文件中的具体类
/wc/input/wordcount.txt:word类运行需要的第一个参数,hdfs文件系统的输入目录
/wc/output/:word类运行需要的第二个参数,hdfs文件系统的输出目录

查看执行完word后,hdfs的输出目录,最后的计算结果如下:

hadoop fs -ls /wc/out
hadoop fs -cat /wc/out/part-r-00000
as	3
daniu	2
hello	10
kopmgkomg	1
pp	2
tyler	1
tylerhjghjghjghjgjh	1

执行完后,在192.168.72.110:8088下查看执行的状态。若是以下结果,则说明执行完毕。
在这里插入图片描述

这篇关于hadoop examples(wordcount.class)例子的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/949968

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

前端 CSS 动态设置样式::class、:style 等技巧(推荐)

《前端CSS动态设置样式::class、:style等技巧(推荐)》:本文主要介绍了Vue.js中动态绑定类名和内联样式的两种方法:对象语法和数组语法,通过对象语法,可以根据条件动态切换类名或样式;通过数组语法,可以同时绑定多个类名或样式,此外,还可以结合计算属性来生成复杂的类名或样式对象,详细内容请阅读本文,希望能对你有所帮助...

VUE动态绑定class类的三种常用方式及适用场景详解

《VUE动态绑定class类的三种常用方式及适用场景详解》文章介绍了在实际开发中动态绑定class的三种常见情况及其解决方案,包括根据不同的返回值渲染不同的class样式、给模块添加基础样式以及根据设... 目录前言1.动态选择class样式(对象添加:情景一)2.动态添加一个class样式(字符串添加:情

提示:Decompiled.class file,bytecode version如何解决

《提示:Decompiled.classfile,bytecodeversion如何解决》在处理Decompiled.classfile和bytecodeversion问题时,通过修改Maven配... 目录问题原因总结问题1、提示:Decompiled .class file,China编程 bytecode

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

JavaFX环境的搭建和一个简单的例子

之前在网上搜了很多与javaFX相关的资料,都说要在Eclepse上要安装sdk插件什么的,反正就是乱七八糟的一大片,最后还是没搞成功,所以我在这里写下我搭建javaFX成功的环境给大家做一个参考吧。希望能帮助到你们! 1.首先要保证你的jdk版本能够支持JavaFX的开发,jdk-7u25版本以上的都能支持,最好安装jdk8吧,因为jdk8对支持JavaFX有新的特性了,比如:3D等;

javaScript日期相加减例子

当前时间加上2天 var d = new Date(“2015-7-31”); d.setDate(d.getDate()+2); var addTwo=d.getFullYear()+”年”+(d.getMonth()+1)+”月”+d.getDate()+”日”; “控制台输出===============”+”当前日期加2天:”+addTwo; 使用这种方法,月份也会给你计算.