Hadoop商业环境实战-HDFS NameNode 宕机元数据一致保障及SNN机制深入研究

本文主要是介绍Hadoop商业环境实战-HDFS NameNode 宕机元数据一致保障及SNN机制深入研究,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。版权声明:禁止转载,欢迎学习。QQ邮箱地址:1120746959@qq.com,如有任何商业交流,可随时联系。

1 从文件目录树谈起(FSImage与EditLog)

  • 文件目录树存在于NameNode的内存里,维护了整个HDFS这个分布式文件系统元数据信息。
  • 任何对文件的创建,修改,删除都会在内存中完成,并持久化到磁盘,也即edits log。
  • 元数据的存储形式主要有3类:内存镜像、磁盘镜像(FSImage)、日志(EditLog)。
  • 在Namenode启动时,会加载磁盘镜像到内存中以进行元数据的管理,存储在NameNode内存;
  • 磁盘镜像是某一时刻HDFS的元数据信息的快照,包含所有相关Datanode节点文件块映射关系和命名空间(Namespace)信息,存储在NameNode本地文件系统;
  • 日志文件记录client发起的每一次操作信息,即保存所有对文件系统的修改操作,用于定期和磁盘镜像合并成最新镜像,保证NameNode元数据信息的完整,存储在NameNode本地和共享存储系统Quorum Journal Manager(QJM)中。
  • SNN会定期将本地FSImage和从QJM上拉回的ANN的EditLog进行合并,合并完后再通过RPC传回ANN。
  • 悖论:若频繁的修改内存里的元数据,并持久化,会存在大量的随机IO,则性能极低。因此JournalNodes诞生了,利用ZKFC选举和双缓存机制实现高并发数据读写。

seen_txid: 是一个事务ID,这个事务ID是EditLog最新的一个结束事务id,当NameNode重启时,会顺序遍历从edits_0000000000000000001到seen_txid所记录的txid所在的日志文件,进行元数据恢复,如果该文件丢失或记录的事务ID有问题,会造成数据块信息的丢失。

2 Secondary NameNode 优胜劣汰的弃儿(单点故障)

整个核心分为最近更新的edit logs 和全局系统快照fsimage 。NameNode 宕机后,根据其最近更新的edit logs 和全局系统快照fsimage(Secondary NameNode帮忙协助处理的)在重启时更新到内存进行回放,即可重新恢复整个系统的元数据。

  • fsimage - 它是在NameNode启动时对整个文件系统的快照 。
  • edit logs - 它是在NameNode启动后,对文件系统的改动序列 。
Secondary NameNode 诞生的重点原因阐述:
  • hadoop仅有单NameNode时:因为只有在NameNode重启时,edit logs才会合并到fsimage文件中,从而得到一个文件系统的最新快照。但是在产品集群中NameNode是很少重启的,这也意味着当NameNode运行了很长时间后,edit logs文件会变得很大。
  • 怎么去管理edit logs是一个挑战。 NameNode的重启会花费很长时间,因为有很多改动(在edit logs中)要合并到fsimage文件上。 如果NameNode挂掉了,那我们就丢失了很多改动,因为此时的fsimage文件非常旧。
  • 为了减小edit logs文件的大小和得到一个最新的fsimage文件,初期引入了Secondary NameNode机制。
  • Secondary NameNode会定时到NameNode中去获取edit logs,并更新到Secondary NameNode 自己的fsimage上。一旦它有了新的fsimage文件,它将其拷贝回NameNode中。 NameNode在下次重启时可以直接使用这个新的fsimage文件,从而减少重启的时间。
  • secondary NameNode的整个目的是在HDFS中提供一个检查点。它只是NameNode的一个助手节点。这也是它在社区内被认为是检查点节点的原因。

2 JournalNodes 历史动乱的维护者(集群模式)

  • 在一个典型的HA集群中,每个NameNode是一台独立的服务器。在任一时刻,只有一个NameNode处于active状态,另一个处于standby状态。

  • active状态的NameNode负责所有的客户端操作,standby状态的NameNode处于从属地位,维护着数据状态,随时准备切换。

  • 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。

  • standby状态的NameNode有能力读取JournalNodes中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了。
    在这里插入图片描述

3 宕机内存元数据一致性回放SNN机制(高可用)

  • 第一步:通知hdfs客户端,我要上传一份文件。(提前设置副本)
  • 第二步:更新Active NameNode(ANN)的内存元数据,并写一份edits log到JournalNodes集群上,另一份写在本地。
  • 第三步:Standby NameNode (SNN)实时读取JournalNodes中更新的 edits log,更新Standby NameNode内存元数据,并每隔一段时间(SNN上有一个线程StandbyCheckpointer),元数据写入到磁盘的fsimage文件中,并同步到Active NameNode。
  • 第四步:一旦Active NameNode宕机,Standby NameNode 直接读取最近更新的edits log(不会太多)和 fsimage文件,进行内存中回放,即可实现快速恢复使用。
  • 第五步:如果没有宕机,hdfs客户端负责分布式写副本即可。

在这里插入图片描述

4 总结

本文在这里详细介绍了宕机内存元数据一致性回放机制。注意这里只是盲人摸象,只有借助QJM和ZKFC的选举机制,同时使用hadoop 分段加锁 + 内存双缓冲机制,才能真正实现每秒上千次的高并发数据访问读写,从而形成了整套数据宕机恢复的体系。

版权声明:本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。

秦凯新 于深圳 201811222049

这篇关于Hadoop商业环境实战-HDFS NameNode 宕机元数据一致保障及SNN机制深入研究的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/441260

相关文章

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库,完全使用 Python 语言编写,它对 XPath表达式提供了良好的支 持,因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块,该模块专门用来解析 HTML/XML 文档,下面来介绍一下 lxml 库

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节