HDFS应用场景、原理、基本架构及使用方法

2024-09-06 20:38

本文主要是介绍HDFS应用场景、原理、基本架构及使用方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击上方蓝色字体,选择“设为星标

回复”资源“获取更多资源

大数据技术与架构

点击右侧关注,大数据开发领域最强公众号!

暴走大数据

点击右侧关注,暴走大数据!

HDFS应用场景、原理、基本架构及使用方法

HDFS优点和缺点

HDFS优点

1、高容错性

   数据自动保存多个副本

   副本丢失后,自动恢复

2、适合批处理

   移动计算而非数据

   数据位置暴露给计算框架

3、适合大数据处理

   GB、TB、甚至PB级数据

   百万规模以上的文件数量

   10K+节点规模

4、流式文件访问

   一次性写入,多次读取

   保证数据一致性

5、可构建在廉价机器上

   通过多副本提高可靠性

   提供了容错和恢复机制

HDFS缺点

1、低延迟数据访问

   比如毫秒级-达不到

   低延迟与高吞吐率

2、小文件存取

   占用NameNode大量内存

   寻道时间超过读取时间

3、并发写入、文件随机修改

   一个文件只能有一个写者

   仅支持append

分布式文件系统的一种实现方式:把大文件根据规则切分成小文件存储在不同的机器上

HDFS基本架构和原理

HDFS设计思想

HDFS架构

HDFS数据块

1、文件被切分成固定大小的数据块

   默认数据块大小为128MB,可配置

   若文件大小不到128MB,则单独存成一个block

2、为何数据块如此之大

   数据传输时间超过寻道时间(高吞吐率)

3、一个文件存储方式

   按大小被切分成若干个block,存储到不同节点上

   默认情况下每个block有三个副本[最小的2N+1>1]

HDFS写流程

HDFS读流程

HDFS典型物理拓扑

HDFS副本设置策略

HDFS可靠性策略

HDFS不适合存储小文件

1、元信息存储在NameNode内存中

   一个节点的内存是有限的

2、存取大量小文件消耗大量的寻道时间

   类比拷贝大量小文件与拷贝同等大小的一个大文件

3、NameNode存储block数目是有限的

   一个block元信息消耗大约150 byte内存

   存储1亿个block,大约需要20GB内存

   如果一个文件大小为10K,则1亿个文件大小仅为1TB(但要消耗掉NameNode 20GB内存)

HDFS程序设计

HDFS访问方式

   HDFS Shell命令

   HDFS Java API

   HDFS REST API

   HDFS Fuse:实现了fuse协议

   HDFS lib hdfs:C/C++访问接口

   HDFS 其他语言编程API

   使用thrift实现

   支持C++、Python、php、C#等语言

HDFS Shell命令

$ hdfs version

Hadoop 3.1.1

Usage: hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]


SUBCOMMAND:

Admin Commands

Client Commands

Daemon Commands

不同版本的Hadoop命令还是有差异的,具体会在后面新的文章中总结。

$ hadoop dfsadmin

WARNING: Use of this script to execute dfsadmin is deprecated.

WARNING: Attempting to execute replacement "hdfs dfsadmin" instead.

$ hadoop fsck

WARNING: Use of this script to execute fsck is deprecated.

WARNING: Attempting to execute replacement "hdfs fsck" instead.

HDFS Shell文件操作命令

Usage: hadoop fs [generic options]

1、将本地文件上传到HDFS上

   bin/hadoop fs -copyFromLocal /local/data /hdfs/data

2、删除文件/目录

   bin/hadoop fs -rmr /hdfs/data

3、创建目录

   bin/hadoop fs -mkdir /hdfs/data

HDFS管理脚本

在sbin目录下

   start-all.sh

   start-dfs.sh

   start-yarn.sh

   hadoop-deamon(s).sh

单独启动某个服务

   hadoop-deamon.sh start namenode

   hadoop-deamons.sh start namenode(通过SSH登录到各个节点)

数据均衡器balancer

1、数据块重分布

   bin/start-balancer.sh -threshold

2、percentage of disk capacity

   HDFS达到平衡状态的磁盘使用率偏差值

   值越低各节点越平衡,但消耗时间也更长

HDFS设置目录份额

1、限制一个目录最多使用磁盘空间

   $ hdfs dfsadmin -setSpaceQuota 128M /test

2、限制一个目录包含的最多子目录和文件数目

   $ hdfs dfsadmin -setQuota 100 /test

增加和移除DataNode节点

1、加入新的datanode

   步骤1:将已存在datanode上的安装包(包括配置文件等)拷贝到新datanode上

   步骤2:启动新datanode

   sbin/hadoop-deamon.sh start datanode

2、移除旧datanode

   步骤1:将datanode加入黑名单,并更新黑名单,在NameNode上,将datanode的host或者ip加入配置选项dfs.hosts.exclude指定的文件中

   步骤2:移除datanode

   bin/hdfs dfsadmin -refreshNodes

HDFS JavaAPI

1、Configuration类

   该类的对象封装了配置信息,这些配置信息来自core-*.xml

2、FileSystem类

   文件系统类,可使用该类的方法对文件根目录进行操作。一般通过FileSystem的静态方法get获得一个文件系统对象

3、FSDataInputStream和FSDataOutputStream类

   HDFS中的输入输出流。分别通过FileSystem的open 方法和create方法获得。

以上类均来自java包:org.apache.hadoop.fs

HDFS Thrift API

通过Thrift实现多语言Client访问HDFS

Hadoop2.0新特性

           

NameNode HA

NameNode Federation

HDFS 快照(snapshot)

HDFS 缓存(in-memory cache)

HDFS ACL

异构层级存储结构(Heterogeneous Storage hierarchy)

HA与Federation

异构层级存储结构

1、HDFS将所有存储介质抽象成性能相同的Disk

   

   dfs.datanode.data.dir

   /dir0,/dir1,/dir2,/dir3

   

2、存储介质种类繁多,一个集群中存在多种异构介质

   磁盘、SSD、RAM等

3、多种类型的任务企图同时运行在同一个Hadoop集群中

   批处理,交互式处理,实时处理

4、不同性能要求的数据,最好存储在不同类别的存储介质上

5、每个节点是由多种异构存储介质构成的

   

   dfs.datanode.data.dir

   [disk]/dir0,[disk]/dir1,[ssd]/dir2,[ssd]/dir3

   

6、HDFS仅提供了一种异构存储结构,并不知道存储介质的性能

   HDFS为用户提供了API,以控制目录/文件写到什么介质上

   HDFS为管理员提供了管理工具,可限制每个用户对 每种介质的可使用份额

   完成度-待研究[毕竟3.x版本了]

HDFS ACL权限控制

1、对当前基于POSIX文件权限管理的补充(HDFS-4685)

2、启动该功能;

   将dfs.namenode.acls.enabled置为true

3、使用方法

   hdfs dfs -setfacl -m user:tom:rw- /bank/exchange

   hdfs dfs -setfacl -m user:lucy:rw- /bank/exchange

   hdfs dfs -setfacl -m group:team2:r-- /bank/exchange

   hdfs dfs -setfacl -m group:team3:r-- /bank/exchange

HDFS快照

1、HDFS上文件和目录是不断变化的,快照可以帮助用户保存某个时刻的数据

2、HDFS快照的作用

   防止用户误操作删除数据

   数据备份

3、一个目录可以产生快照,当且仅当它是Snapshottable

   bin/hdfs dfsadmin allowSnapshot

 

4、创建/删除快照

   bin/hdfs dfs -createSnapshot[]

   bin/hdfs dfs -deleteSnapshot[]

5、快照存放位置和特点

   快照是只读的,不可修改

   快照位置:

     /.snapshot

/.snapshot/snap_name

HDFS缓存

1、HDFS自身不提供数据缓存功能,而是使用OS缓存

   容易内存浪费,eg.一个block三个副本同时被缓存

   多种计算框架共存,均将HDFS作为共享存储系统

   MapReduce:离线计算,充分利用磁盘

   Impala:低延迟计算,充分利用内存

   Spark:内存计算框架

2、HDFS应让多种混合计算类型共存一个集群中

   合理的使用内存、磁盘等资源

   比如,高频访问的特点文件应被尽可能长期缓存,防止置换到磁盘上

3、用户需通过命令显式的将一个目录或文件加入/移除缓存

   不支持块级别的缓存

   不支持自动化缓存

   可设置缓存失效时间

4、缓存目录:仅对一级文件进行缓存

   不会递归缓存所有文件与目录

5、以pool的形式组织缓存资源

   借助YARN的资源管理方式,将缓存划分到不同pool中

   每个pool有类linux权限管理机制、缓存上限、失效时间等

   

6、独立管理内存,未与资源管理系统YARN集成

   用户可为每个DN设置缓存大小,该值独立于YARN

这篇关于HDFS应用场景、原理、基本架构及使用方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143066

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件