Hadoop3教程(一):Hadoop的定义、组成及全生态概览

2023-10-13 11:52

本文主要是介绍Hadoop3教程(一):Hadoop的定义、组成及全生态概览,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • (1)定义
    • 1.1 发展历史
    • 1.2 三大发行版本
    • 1.3 Hadoop的优势
    • 1.4 Hadoop的组成
  • (13)HDFS概述
  • (14)Yarn架构
  • (15)MapReduce概述
  • (16) HDFS、YARN、MapReduce三者关系
  • (17)大数据技术生态体系
  • 参考文献

(1)定义

Hadoop是一个由Apache基金会开发的一个分布式系统基础架构

分布式,指多台机器共同来完成一项任务。

用途:解决海量数据的存储和分析计算问题

广义上来讲,Hadoop通常是指一个更广泛的概念:Hadoop生态圈。包含了很多基于Hadoop架构衍生发展出来的其他的东西,如HBASE等

1.1 发展历史

创始人Doug Cutting,他最初的目的是为了实现与Google类似的全文搜索功能,于是他在Lucene框架的基础上进行优化升级,查询引擎和索引引擎。

2001年底,Lucene框架称为Apache基金会的一个子项目。

对于海量数据的场景,Lucene同样遇到了跟Google一样的困难:海量数据存储难、海量的检索速度慢。

Doug 模仿Google,提出了一个微型版Nutch来解决这个问题。他基于谷歌提出的三篇论文,分别提出了HDFS、MR、HBase,因为可以认为Google是Hadoop的思想之源。

2006.03,MR和Nutch Distributed File System(NDFS)分别被纳入到了Hadoop项目中,Hadoop正式诞生。

Hadoop这个名字和logo来源于Doug儿子的玩具大象。

1.2 三大发行版本

Hadoop有三大发型版本:Apache、Cloudera、Hortonworks。

Apache版本,最原始且最基础的版本,非常适用于入门学习,开源,2006年正式提出。

Cloudera版本,在原始版本基础上集成了大量的大数据框架,2008年推出,对应商用产品CDH。

Hortonworks版本,也封装了自己的一套,2011年推出,对应产品HDP。

目前,Hortonworks已经被Cloudera公司收购,推出新的品牌CDP。

后两个版本都是商业收费的。

Cloudera,08年成立,是最早将Hadoop商用的公司,为合作伙伴提供商业解决方案。09年,Hadoop的创始人cutting也加入了该公司。

Hortonworks,2011年成立,主体是雅虎

在这里插入图片描述

1.3 Hadoop的优势

  1. 高可靠性。每份数据都会分布式维护多个副本,即使某台存储服务器出问题,也不会导致数据的丢失。
  2. 高扩展性。可以动态扩展计算节点以支持更庞大的计算需求,而不需要影响现有任务。
  3. 高效性。在MR的指导思想下,Hadoop是并行工作的。以加快任务处理速度。
  4. 高容错性。能够自动的将失败的任务重新分配。比如说某个子任务崩了,这时候会自动将这一计算任务迁移到其他节点重新计算,不影响整体计算。

1.4 Hadoop的组成

Hadoop1.x的组成:

  • common(辅助工具)
  • HDFS(数据存储)
  • MapReduce(计算 + 资源调度):还负责调度计算内存资源等功能。

MR耦合性较大。

在这里插入图片描述

Hadoop2.x的组成:

  • common(辅助工具)
  • HDFS(数据存储)
  • Yarn(资源调度)
  • MapReduce(计算)

可以看到,资源调度和计算已经分离了。

Hadoop3.x跟2.x相比,在组成上没有区别。

在这里插入图片描述

(13)HDFS概述

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

负责海量数据的存储。

NameNode:存储文件的元数据,如文件名、文件目录结构、文件属性、每个文件的块列表以及每个块所在的DataNode,简称叫做nn;

DataNode:是具体存储数据的位置,也负责块数据的校验和。

2NN:辅助NameNode的工作。每隔一段时间对NameNode元数据备份。

(14)Yarn架构

Yet Another Resource Negotiator,简称YARN,是一种资源协调者,是Hadoop的资源管理器。

YARN的两个核心组成组件:

  • Resource Manager:整个集群的资源的管理者,管理着一个及以上数量的NodeManager;
  • NodeManager:单节点资源的管理者,可能是管理着单台服务器的资源。

NodeManager中,单个任务会被放在一个container中来执行,待执行完成后,就直接释放掉整个container。

客户端提交job到ResourceManager,由ResourceManager负责协调指挥NodeManager们的工作。

客户端可以有多个;集群上可以运行多个ApplicationMaster;每个NodeManager可以有多个Container。

一个contrainer容器分配的内存,是1G~8G,最少一个CPU。

(15)MapReduce概述

负责计算。

将计算过程分成两部分:

  • Map:将大任务分割成一个个小任务,以作并行处理;
  • Reduce:将一个个小任务的运行结果合并作为大任务的运行结果,即对Map的结果进行汇总。

举例说明:

假设我有一万篇笔记,我想找到其中一篇,

如果我自己找的话,需要一个人看完这1w篇笔记;

但是我可以找100个人帮我一起找,把这1w篇笔记分成100组,给那100个人,然后每个人看100篇文档。(这就是Map的过程)

最后每个人再把查的结果反馈给我,我做下汇总,就可以知道我想要找的那篇在哪儿了。这个过程就是Reduce。

在这里插入图片描述

(16) HDFS、YARN、MapReduce三者关系

在这里插入图片描述

觉得需要注意的一点是,client提交任务到YARN的ResourceManager之后,ResourceManager会在任一节点启动一个Container,运行一个App Mstr,这个App Mstr比较重要。

接下来的流程,按我的理解是这样的:

首先App Mstr会计算当前任务运行所需的资源等,并向ResourceManager发出资源申请,告诉它,我需要xx个节点来运行我的任务;

其次当ResourceManager按照App Mstr的要求,为它分配了xx个节点之后,App Mstr会在这些节点上分别启动MapTask进行计算。

最后会在某个节点上启动一个ReduceTask,来汇总各个MapTask的结果。

再最后,ReduceTask的执行结果,可能会写入HDFS的DataNode,做持久化保存。

(17)大数据技术生态体系

在这里插入图片描述

上图举例了一个经典的大数据技术生态体系,从图上来看,

数据来源层,分这么三大类:

  • 结构化数据,如数据库,有行+有列;
  • 半结构化数据,如文件日志,有行+分隔符间隔的列;
  • 非结构化数据,如视频和ppt等。

数据传输层,即分别使用什么方式,来采集不同来源的数据:

  • 结构化数据 -> Sqoop数据传递;
  • 半结构化数据 -> Flume日志收集;
  • 非结构化数据 -> Kafka消息队列(处理结构化和半结构化其实都可以)

数据存储层

  • Sqoop数据传递 + Flume日志收集 -> HDFS文件存储;
  • Flume日志收集 -> HBase非关系型数据库
  • Kafka消息队列,自带文件存储。

资源管理层

  • YARN

数据计算层

  • MapReduce离线计算 -> hive数据查询;
  • Spark Core 内存计算 -> Spark Mlib数据挖掘(基于代码) + Spark SQL数据查询
  • 实时计算 -> Storm实时计算(基本认为是过气了) + Spark Streaming实时计算 + Flink;

任务调度层

  • Oozie任务调度
  • Azkaban任务调度

贯穿各层的,负责数据平台配置和调度的:

  • zookeeper

业务模型层

  • 业务模型、数据可视化、业务应用

图中涉及到的技术名词进行解释:

  • sqoop:sqoop是一款开源工具,主要用于hadoop、hive与传统的数据库(如MySQL)间进行数据传递。可以将关系型数据库中的数据导进Hadoop的HDFS里,也可以将HDFS中的数据通过sqoop导入关系型数据库里;
  • Flume:分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;
  • Kafka:分布式分布订阅消息系统;
  • Spark:当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的数据进行计算;
  • Flink:当前最流行的开源大数据内存计算框架。主要用于实时计算场景;
  • Oozie:是一个管理Hadoop作业的工作流程调度管理系统;
  • Hbase:分布式的、面向列的开源数据库。不同于一般的关系型数据库,Hbase是一个适合于非结构化数据存储的数据库;
  • Hive:基于Hadoop体系的一个数据仓库工具,
    • 可以将结构化的数据文件映射为一张数据库表,如此更加直观的展现HDFS上存储的数据;
    • 提供了简单的SQL查询功能,不需要再直接编写MapReduce任务了,直接使用SQL查询即可,hive会自动将SQL查询转换成对应的MR任务在后台执行,从而大大降低了学习成本,不需要再手写MR代码了,只要学会SQL就可以。十分的适合数据仓库的统计分析。
  • ZooKeeper:是一个针对大型分布式系统的可靠的协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。

教程讲到这里还给了一个推荐系统的框架图,以简单的实例来讲解,大数据这些框架是如何结合在一起来解决实际问题的。

参考文献

  1. 【尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放】

这篇关于Hadoop3教程(一):Hadoop的定义、组成及全生态概览的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/203039

相关文章

Ubuntu固定虚拟机ip地址的方法教程

《Ubuntu固定虚拟机ip地址的方法教程》本文详细介绍了如何在Ubuntu虚拟机中固定IP地址,包括检查和编辑`/etc/apt/sources.list`文件、更新网络配置文件以及使用Networ... 1、由于虚拟机网络是桥接,所以ip地址会不停地变化,接下来我们就讲述ip如何固定 2、如果apt安

PyCharm 接入 DeepSeek最新完整教程

《PyCharm接入DeepSeek最新完整教程》文章介绍了DeepSeek-V3模型的性能提升以及如何在PyCharm中接入和使用DeepSeek进行代码开发,本文通过图文并茂的形式给大家介绍的... 目录DeepSeek-V3效果演示创建API Key在PyCharm中下载Continue插件配置Con

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术(如Docker)、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术(如 docker)1. 创

Spring Boot整合log4j2日志配置的详细教程

《SpringBoot整合log4j2日志配置的详细教程》:本文主要介绍SpringBoot项目中整合Log4j2日志框架的步骤和配置,包括常用日志框架的比较、配置参数介绍、Log4j2配置详解... 目录前言一、常用日志框架二、配置参数介绍1. 日志级别2. 输出形式3. 日志格式3.1 PatternL

MySQL8.2.0安装教程分享

《MySQL8.2.0安装教程分享》这篇文章详细介绍了如何在Windows系统上安装MySQL数据库软件,包括下载、安装、配置和设置环境变量的步骤... 目录mysql的安装图文1.python访问网址2javascript.点击3.进入Downloads向下滑动4.选择Community Server5.

CentOS系统Maven安装教程分享

《CentOS系统Maven安装教程分享》本文介绍了如何在CentOS系统中安装Maven,并提供了一个简单的实际应用案例,安装Maven需要先安装Java和设置环境变量,Maven可以自动管理项目的... 目录准备工作下载并安装Maven常见问题及解决方法实际应用案例总结Maven是一个流行的项目管理工具

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee

MySql9.1.0安装详细教程(最新推荐)

《MySql9.1.0安装详细教程(最新推荐)》MySQL是一个流行的关系型数据库管理系统,支持多线程和多种数据库连接途径,能够处理上千万条记录的大型数据库,本文介绍MySql9.1.0安装详细教程,... 目录mysql介绍:一、下载 Mysql 安装文件二、Mysql 安装教程三、环境配置1.右击此电脑

在idea中使用mysql数据库超详细教程

《在idea中使用mysql数据库超详细教程》:本文主要介绍如何在IntelliJIDEA中连接MySQL数据库,并使用控制台执行SQL语句,还详细讲解了如何使用MyBatisGenerator快... 目录一、连接mysql二、使用mysql三、快速生成实体、接口、sql文件总结一、连接mysql在ID