【Hadoop|HDFS篇】NameNode和SecondaryNameNode

2024-09-07 03:20

本文主要是介绍【Hadoop|HDFS篇】NameNode和SecondaryNameNode,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. NN和2NN的工作机制

思考:NameNode中的元数据是存储在哪里的?

首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访
问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在
内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的
Fslmage

这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导
致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数
据丢失。因此,引入 Edits文件(只进行追加操作,效率很高)。每当元数据有更新或者添
加元数据时,修改内存中的元数据并追加到Edits 中。这样,一旦NameNode 节点断电,可
以通过 FsImage 和 Edits 的合并,合成元数据。

工作机制图解:

2. Fsimage文件解析

NameNode被格式化以后,将在如下目录产生一些文件。

[hexuan@hadoop102 current]$ ll
总用量 4128
-rw-rw-r--. 1 hexuan hexuan      42 9月   2 17:12 edits_0000000000000000001-0000000000000000002
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 17:22 edits_0000000000000000003-0000000000000000010
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 22:52 edits_0000000000000000011-0000000000000000138
-rw-rw-r--. 1 hexuan hexuan      42 9月   2 23:29 edits_0000000000000000139-0000000000000000140
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   2 23:29 edits_0000000000000000141-0000000000000000141
-rw-rw-r--. 1 hexuan hexuan 1048576 9月   6 16:22 edits_inprogress_0000000000000000142
-rw-rw-r--. 1 hexuan hexuan    1737 9月   2 23:29 fsimage_0000000000000000140
-rw-rw-r--. 1 hexuan hexuan      62 9月   2 23:29 fsimage_0000000000000000140.md5
-rw-rw-r--. 1 hexuan hexuan    1707 9月   3 17:22 fsimage_0000000000000000141
-rw-rw-r--. 1 hexuan hexuan      62 9月   3 17:22 fsimage_0000000000000000141.md5
-rw-rw-r--. 1 hexuan hexuan       4 9月   3 17:22 seen_txid
-rw-rw-r--. 1 hexuan hexuan     219 9月   3 17:22 VERSION
[hexuan@hadoop102 current]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/name/current
  • Fsimage文件:HDFS文件系统元数据的永久性的检查点,其中包含了HDFS文件系统的所有目录和文件inode的序列化信息。
  • Edits文件:存放HDFS文件系统的所有更新操作的路径,文件系统客户端执行的所有写操作首先被记录到Edits文件中。
  • seen_txid文件保存的是一个数字,就是最后一个edits_的数字。
  • 每次NameNode启动的时候都会将Fsimage文件读入内存,加载Edits里面的更新操作,保证内存中的元数据信息是最新的,同步的,可以看成NameNode启动的时候将Fsimage和Edits文件进行了合并。

3. oiv和oev命令

1)查看oiv命令

语法:hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件的输出路径

[hexuan@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000140 -o /opt/module/hadoop-3.1.3/fsimage.xml
2024-09-06 20:13:28,002 INFO offlineImageViewer.FSImageHandler: Loading 4 strings

2)查看oev命令

语法:hdfs oev -p 文件类型 -i 编辑日志 -o 转化后文件的输出路径

4. CheckPoint时间设置

1)通常情况下,SecondaryNameNode每隔一小时执行一次。

2)一分钟检查一次操作次数,当操作次数达到一百万时,SecondaryNameNode执行一次。

这篇关于【Hadoop|HDFS篇】NameNode和SecondaryNameNode的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1143915

相关文章

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

argodb自定义函数读取hdfs文件的注意点,避免FileSystem已关闭异常

一、问题描述 一位同学反馈,他写的argo存过中调用了一个自定义函数,函数会加载hdfs上的一个文件,但有些节点会报FileSystem closed异常,同时有时任务会成功,有时会失败。 二、问题分析 argodb的计算引擎是基于spark的定制化引擎,对于自定义函数的调用跟hive on spark的是一致的。udf要通过反射生成实例,然后迭代调用evaluate。通过代码分析,udf在

【Hadoop|MapReduce篇】MapReduce概述

1. MapReduce定义 MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。 2. MapReduce优缺点 2.1 优点 MapReduce易于编程 它简单的实现一些接口,就可以完成一个分布式