本文主要是介绍Hadoop2.5细节，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Hadoop2.5
1.COMMON
2.HDFS
存储数据
NameNode(存储文件系统元数据，命名空间)
DataNode(存储数据)
SecondaryNameNode(辅助NameNode工作，定时合并文件)
3.YRAN
Hadoop操作系统
Data操作系统
Container
ResourceManager(整个集群资源的管理和调度)
NodeManager(管理每个节点的资源和调度)
4.MapReduce
Map分
Reduce合
input->map->shuffle->reduce->output
分布式并行的计算框架
运行模式:
本地模式
yarn模式
#各个服务对应配置节点
hdfs
#NameNode
etc/hadoop/core-site.xml:
<property>
<name>fs.defaultFS</name>
<value>hdfs://centos11.com:8020</value>
</property>
#DataNode
slaves:
centos11.com
#SecondaryNameNode
etc/hadoop/hdfs-site.xml:
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>0.0.0.0:50090</value>
</property>
yarn
#ResourceManager
etc/hadoop/yarn-site.xml:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos11.com</value>
</property>
#NodeManager
slaves:
centos11.com
MapReduce
#historyserver
etc/hadoop/mapred-site.xml:
<property>
<name>mapreduce.jobhistory.address</name>
<value>0.0.0.0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>0.0.0.0:19888</value>
</property>
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
这篇关于Hadoop2.5细节的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
