本文主要是介绍Hadoop学习笔记(不定期更新),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
2017年10月15日起
《大数据技术基础——基于Hadoop与Spark》
JVM: JVM是Java Virtual Machine(Java虚拟机)的缩写
HDFS: Hadoop分布式文件系统(HDFS)
YARN: Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系 统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
MapReduce: MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。
PB: 数据单位,B.KB.MB.GB.TB.PB. 1PB=1024TB,依次类推
2017年11月12日
后来找到《Hadoop权威指南》于是开始看这本权威著作,发现,确实很深入浅出,讲问题很透彻。所以下面的笔记主要是这本书里的。
MapReduce:是一种线性的可伸缩编程模型。核心特征:数据本地化(data locality)。采用无共享框架。
限定用户使用有特定关联的键值对,mapper和reducer彼此间的协调非常有限。
mapreduce三大设计目标:(1)为只需要短短短几分钟或几个小时就可以完成的作业提供服务;(2)云星宇同一个内部有高速网络连接的数据中心内;(3)数据中心内的计算机都是可靠的。
网络带宽是数据中心环境最珍贵的资源,MapReduce通过显式网络拓扑结构来保留网络带宽。注意,这种方式并没有降低MapReduce对计算密集型数据的尽心分析的能力。
这篇关于Hadoop学习笔记(不定期更新)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!