HDFS—集群扩容及缩容

2024-09-09 17:58
文章标签 集群 hdfs 扩容 缩容

本文主要是介绍HDFS—集群扩容及缩容,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

白名单:表示在白名单的主机IP地址可以,用来存储数据。

up-acb08d98e431429592cdb8802409bb29a19.png

配置白名单步骤如下:

1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创whitelist blacklist文件

(1)创建白名单

[lytfly@hadoop102 hadoop]$ vim whitelist

在whitelist中添加如下主机名称,假如集群正常工作的节点为102 103

hadoop102
hadoop103

(2)创建黑名单

[lytfly@hadoop102 hadoop]$ touch blacklist

保持空的就可以

2)在hdfs-site.xml配置文件中增加dfs.hosts配置参数

 

<!-- 白名单 -->
<property><name>dfs.hosts</name><value>/opt/module/hadoop-3.1.4/etc/hadoop/whitelist</value>
</property><!-- 黑名单 -->
<property><name>dfs.hosts.exclude</name><value>/opt/module/hadoop-3.1.4/etc/hadoop/blacklist</value>
</property>

3)分发配置文件whitelisthdfs-site.xml

[lytfly@hadoop102 hadoop]$ xsync hdfs-site.xml whitelist

4)第一次添加白名单必须重启集群,不是第一次,只需要刷新NameNode节点即可

[lytfly@hadoop102 hadoop-3.1.4]$ myhadoop.sh stop[lytfly@hadoop102 hadoop-3.1.4]$ myhadoop.sh start

5)在web浏览器上查看DN,http://hadoop102:9870/dfshealth.html#tab-datanode

up-3bdcbaa4cce76c967e637d60a17c02bcb2b.png

至此白名单添加成功。下面进行白名单的实现:

6)在hadoop104上执行上传数据数据失败

[lytfly@hadoop104 hadoop-3.1.4]$ hadoop fs -put NOTICE.txt /

7)二次修改白名单,增加hadoop104

[lytfly@hadoop102 hadoop]$ vim whitelist

修改为如下内容:

hadoop102
hadoop103
hadoop104

8)刷新NameNode

[lytfly@hadoop102 hadoop-3.1.4]$ hdfs dfsadmin -refreshNodes

9)在web浏览器上查看DN,http://hadoop102:9870/dfshealth.html#tab-datanode

up-06c710c7275694da6c01baa875aee82cad8.png

这篇关于HDFS—集群扩容及缩容的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1151875

相关文章

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

Java ArrayList扩容机制 (源码解读)

结论:初始长度为10,若所需长度小于1.5倍原长度,则按照1.5倍扩容。若不够用则按照所需长度扩容。 一. 明确类内部重要变量含义         1:数组默认长度         2:这是一个共享的空数组实例,用于明确创建长度为0时的ArrayList ,比如通过 new ArrayList<>(0),ArrayList 内部的数组 elementData 会指向这个 EMPTY_EL

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自: 一种改进的red5集群方案的应用: http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节,Flexus X实例的促销力度非常大,特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求,一定不要错过这个机会。赶紧去看看吧! 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体

kubernetes集群部署Zabbix监控平台

一、zabbix介绍 1.zabbix简介 Zabbix是一个基于Web界面的分布式系统监控的企业级开源软件。可以监视各种系统与设备的参数,保障服务器及设备的安全运营。 2.zabbix特点 (1)安装与配置简单。 (2)可视化web管理界面。 (3)免费开源。 (4)支持中文。 (5)自动发现。 (6)分布式监控。 (7)实时绘图。 3.zabbix的主要功能

laravel框架实现redis分布式集群原理

在app/config/database.php中配置如下: 'redis' => array('cluster' => true,'default' => array('host' => '172.21.107.247','port' => 6379,),'redis1' => array('host' => '172.21.107.248','port' => 6379,),) 其中cl

VMware8实现高可用(HA)集群

陈科肇 =========== 操作系统:中标麒麟高级操作系统V6 x86-64 实现软件:中标麒麟高可用集群软件 ======================== 1.环境的规划与配置 硬件要求 服务器服务器至少需要 2 台,每台服务器至少需要 2 块网卡以做心跳与连接公网使用存储环境 建议使用一台 SAN/NAS/ISCSI 存储作为数据共享存储空间 软