hadoop修改hostname配置为IP配置

2024-02-17 03:38
文章标签 配置 ip 修改 hadoop hostname

本文主要是介绍hadoop修改hostname配置为IP配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为什么需要host配置&遇到问题

  • 个人理解,无非就是方便
  • 集群扩很容易造成异常。hadoop集群配置中,许多地方使用了host配置,但是当前大部分应用都是通过集群/etc/hosts方式来实现名字解析。如果遇到集群扩容,需要进行hosts同步,经常出现遗漏或错误情况。
  • 解决上述问题一种方式是可以使用内部DNS来解决,但又引入了DNS维护。
  • 尝试取消对host依赖,配置中全部使用IP方式

涉及host的配置有哪些

说明:

  • 所有涉及到host地方,均修改为IP
  • 集群名称:dev-env
  • namenode IP假设为:10.237.49.121、10.237.49.148
  • journal地址假设为:qjournal://10.237.49.23:8485;10.237.54.239:8485;10.237.54.244:8485/dev-env
  • zookeeper地址假设为:10.237.49.121:2181,10.237.49.148:2181,10.237.49.23:2181,10.237.54.239:2181,10.237.54.244:2181

hdfs-site.xml配置

<property><name>dfs.ha.namenodes.dev-env</name><value>10.237.49.121,10.237.49.148</value>
</property>
<property><name>dfs.namenode.rpc-address.dev-env.10.237.49.121</name><value>10.237.49.121:8020</value>
</property>
<property><name>dfs.namenode.rpc-address.dev-env.10.237.49.148</name><value>10.237.49.148:8020</value>
</property>
<property><name>dfs.namenode.http-address.dev-env.10.237.49.121</name><value>10.237.49.121:50070</value>
</property>
<property><name>dfs.namenode.http-address.dev-env.10.237.49.148</name><value>10.237.49.148:50070</value>
</property>
说明:namenode相关地址配置
<property><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value>
</property>
说明:默认为true,namenode连接datanode时,会进行host解析查询
<property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://10.237.49.23:8485;10.237.54.239:8485;10.237.54.244:8485/dev-env</value>
</property>
说明:journal地址配置
<property><name>ha.zookeeper.quorum</name><value>10.237.49.121:2181,10.237.49.148:2181,10.237.49.23:2181,10.237.54.239:2181,10.237.54.244:2181</value>
</property>
说明:zookeeper配置


core-site.xml

yarn-site.xml

mapred-site.sh





这篇关于hadoop修改hostname配置为IP配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/716573

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

wolfSSL参数设置或配置项解释

1. wolfCrypt Only 解释:wolfCrypt是一个开源的、轻量级的、可移植的加密库,支持多种加密算法和协议。选择“wolfCrypt Only”意味着系统或应用将仅使用wolfCrypt库进行加密操作,而不依赖其他加密库。 2. DTLS Support 解释:DTLS(Datagram Transport Layer Security)是一种基于UDP的安全协议,提供类似于

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

两个月冲刺软考——访问位与修改位的题型(淘汰哪一页);内聚的类型;关于码制的知识点;地址映射的相关内容

1.访问位与修改位的题型(淘汰哪一页) 访问位:为1时表示在内存期间被访问过,为0时表示未被访问;修改位:为1时表示该页面自从被装入内存后被修改过,为0时表示未修改过。 置换页面时,最先置换访问位和修改位为00的,其次是01(没被访问但被修改过)的,之后是10(被访问了但没被修改过),最后是11。 2.内聚的类型 功能内聚:完成一个单一功能,各个部分协同工作,缺一不可。 顺序内聚: