[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作

2024-05-31 07:18

本文主要是介绍[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Hadoop绝非一个简单程序,集群模式下更是如此,所有的数据都存储在Hadoop中如果操作不当会存在丢失数据的风险,那么怎么在安全的情况,扩容下线维护或者磁盘满了怎么增加空间,就是今天的主要内容了.

附上:

Hadoop的官网:hadoop.apache.org
喵了个咪的博客:w-blog.cn

1.增加节点

当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了

通过如下命令可以查看各节点情况磁盘容量等

> hadoop dfsadmin -report

笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据)

> hdfs dfs -mkdir input
> hdfs dfs -put /app/install/* input

可以看到已经写入了很多大文件这个时候查询集群状态会发现两个节点从原本的33GB剩余已经缩减到了23GB,因为现在我们只有两个节点选择的备份数量也是2个所以每份文件都会在两个节点中进行存储

首先先进行节点扩容我们的hadoop-1现在只是作为了NameNode现在要把hadoop-1加入DataNode中然后把现在有的数据进行平均负载让hadoop-1也承担一部分文件存储工作

在master节点上修改slaves增加hadoop-1

> vim /usr/local/hadoop-2.7.3/etc/hadoop/slaves
hadoop-1

在需要增加到集群的节点中指向如下命令

> hadoop-daemon.sh start datanode #启动datanode
> yarn-daemons.sh start nodemanager #启动yarn

在master节点上执行

hadoop dfsadmin -refreshNodes #刷新识别新增加的节点
yarn rmadmin -refreshNodes    #刷新yarn识别新节点

这个时候在通过 hadoop dfsadmin -report 查看集群状况就可以看到增加了一个节点,但是这个节点暂时没有存储任何的文件需要指向如下命令将文件进行负载均衡

如果不balance,那么cluster会把新的数据都存放在新的node上,但是这样会降低mapred的工作效率
设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长

start-balancer.sh -threshold 5

如果拷贝时间非常慢可以通过修改hdfs-site.xml设置balance的带宽,默认只有1M/s

> vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property><name>dfs.balance.bandwidthPerSec</name> <value>10485760</value> <description> Specifies the maximum amount of bandwidth that each datanode  can utilize for the balancing purpose in term of  the number of bytes per second.  </description>
</property>

2.下线节点

当我们不需要节点或者是需要对节点进维护(比如增加磁盘等操作需要重启)希望能够平滑下线Hadoop提供对应的方式

在NameNode节点中添加(或修改)如下配置项到hdfs-site.xml

> vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>  <name>dfs.hosts.exclude</name>  <value>/usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude</value>   
</property>  

编辑dfshosts.exclude 增加需要下线的节点名称

> vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude
hadoop-2

在执行下线命令

hdfs dfsadmin -refreshNodes

在通过查看节点就会发现有一个 Decommissioning datanodes 此时任何数据都不会写入到下线的datanode中(下线的节点中有数据的话hadoop复制该datanode block至其他datanode需要一定的下线时间)此时下线的是hadoop-2 , hadoop-2中的块将会被迁移到 hadoop-1中,前已完成之后Decommissioning datanodes将会消失然后就可以关闭hadoop-2中的服务了,如果需要在加入到集群中只需要去除dfshosts.exclude在重新刷新

下线nodemanager也是一样修改l增加如下配置

> vim /usr/local/hadoop-2.7.3/etc/hadoop/yarn-site.xml
<property>  <name>mapred.hosts.exclude</name>  <value>/usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude</value>   
</property>

执行下线命令

yarn rmadmin -refreshNodes

在已经下线的节点就可以正常的关闭 datanode进程

hadoop-daemon.sh stop datanode 

通过 hadoop dfsadmin -report 查看会发现hadoop-2的状态是 Decommissioned 退役状况 这个时候文件不会再写入到hadoop2节点中

3.磁盘扩容

当整个集群存入的数据量慢慢增加磁盘总会不够,此时此刻就需要增加磁盘来解决此类问题

现在我们有3个节点可以查看到如下信息

> hdfs dfsadmin -report
Configured Capacity: 126421499904 (117.74 GB)
Present Capacity: 107068563456 (99.72 GB)
DFS Remaining: 81215922176 (75.64 GB)
DFS Used: 25852641280 (24.08 GB)
DFS Used%: 24.15%

此时我们给节点2进行磁盘扩容,这里使用的阿里云服务器增加了一块100GB的磁盘挂载到了hadoop-2服务器上
步骤 4:Linux 格式化和挂载数据盘快速入门云服务器 ECS-阿里云

> df
Filesystem     1K-blocks     Used Available Use% Mounted on
/dev/vda1       41152832 13745964  25293384  36% /
/dev/vdb1      103080224    61176  97776220   1% /mnt

多出了一个 /mut 赋予权限

> sudo chown -R hadoop:hadoop /mnt

首先现需要下线hadoop-2节点,下线之后在hadoop-2

> su hadoop
> hadoop-daemon.sh stop datanode

修改hadoop-2配置文件vim hdfs-site.xml

> vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml<property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data,file:/mnt/dfs/data</value></property>

然后在启动datanode

> hadoop-daemon.sh start datanode

在hadoop-1通过NameNode中查看集群状态

> hadoop dfsadmin -report
Name: 192.168.1.102:50010 (sunmi-hadoop-2)
Hostname: sunmi-hadoop-2
Decommission Status : Decommissioned
Configured Capacity: 147694649344 (137.55 GB)
DFS Used: 9414242304 (8.77 GB)
Non DFS Used: 12258566144 (11.42 GB)
DFS Remaining: 126021840896 (117.37 GB)
DFS Used%: 6.37%
DFS Remaining%: 85.33%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Jul 20 11:30:42 CST 2017

hadoop-2的容量就增加了然后重新让节点上线

vim /usr/local/hadoop-2.7.3/etc/hadoop/dfshosts.exclude
# 清除
hadoop-2
# 更新节点
> hdfs dfsadmin -refreshNodes
> yarn rmadmin -refreshNodes

然后在查看集群状况就增加了100GB的DFS的空间

> hadoop dfsadmin -report
Configured Capacity: 231975649280 (216.04 GB)
Present Capacity: 207191623885 (192.96 GB)
DFS Remaining: 176628416512 (164.50 GB)
DFS Used: 30563207373 (28.46 GB)
DFS Used%: 14.75%

4 总结

关于Hadoop相关的配置到这篇就已经结束了,关于Hadoop如果希望深入了解可以读阅

这篇关于[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1017552

相关文章

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例:修改表在数据库中,表的操作主要

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

Python使用DrissionPage中ChromiumPage进行自动化网页操作

《Python使用DrissionPage中ChromiumPage进行自动化网页操作》DrissionPage作为一款轻量级且功能强大的浏览器自动化库,为开发者提供了丰富的功能支持,本文将使用Dri... 目录前言一、ChromiumPage基础操作1.初始化Drission 和 ChromiumPage

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个