最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理

本文主要是介绍最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ambari2.7.3+hdp3.1.0 集群搭建

一、基本环境设置

a、VMware14.0安装包

http://bigsoft.zdfans.wang/VMware_5928.zip

b、CentOS-7-x86_64-Minimal-1810.iso

http://mirrors.aliyun.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso

c、win10下VMware安装CentOS7并配置⽹络教程

配置内核为4,磁盘空间为30G ,内存为2~4G都可以!

https://blog.csdn.net/zyq_2014/article/details/79692181

d、安装好主节点后打开修改主机名

hostname 主机名

vi /etc/hostname 修改主机名

hostnamectl set-hostname 主机名

e、关机,克隆。修改另外三个从节点的ip和主机名。

虚拟机访问地址

192.168.154.20

192.168.154.21

192.168.154.22

192.168.154.23

二、每个节点host设置

主机名最好符合规范,否则主机注册会出现问题。命名参考如下

图片

192.168.154.20 master1.xd.edu.cn

192.168.154.21 slave1.xd.edu.cn

192.168.154.22 slave2.xd.edu.cn

192.168.154.23 slave3.xd.edu.cn

补充:

修改主机名方法:

a、hostname 主机名

b、vi /etc/hostname 修改主机名

c、hostnamectl set-hostname 主机名

c、vi /etc/hosts 完成ip和域名的映射

三、操作系统环境准备

3.1 配置ssh免密登录

https://blog.csdn.net/l1394049664/article/details/82528372

a、在所有节点上创建目录并赋予权限

mkdir /root/.ssh

chmod 700 /root/.ssh

b、在主节点上生成公钥

cd ~

#进入用户目录

ssh-keygen -t rsa -P “”

#这是生成ssh密码的命令,-t 参数表示生成算法,有rsa和dsa两种;-P表示使用的密码,这里使用""空字符串表示无密码。

#回车后,会提示输入信息,我们直接回车即可。这样就在~/.ssh目录下生成了几个东西

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

#这个命令将id_rsa.pub的内容追加到了authorized_keys的内容后面。

c、把公钥传送到需要免密钥登录的节点

scp authorized_keys slave1.xd.edu.cn:/root/.ssh/

scp authorized_keys slave2.xd.edu.cn:/root/.ssh/

scp authorized_keys slave3.xd.edu.cn:/root/.ssh/

**备注:**在传输的过程中需要去用到node2和node3的密码,不过只使用一次,以后再使用ssh node2或者ssh node3即不在需要密码,实现免密钥登录

3.2、开启ntp服务

所有节点上都需要执行以下操作

图片

图片

yum install ntp

systemctl is-enabled ntpd

systemctl enable ntpd

systemctl start ntpd

systemctl status ntpd

3.3 检查DNS,配置FQDN

所有节点都要检查,并配置FQDN(所有节点)

图片

配置FQDN,如下以主节点为例

图片

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=xd1.edu.cn

3.4 关闭防火墙

所有节点都要设置(以主节点为例)

图片

systemctl disable firewalld

systemctl stop firewalld

3.5 关闭SELinux

所有节点都要设置(以主节点为例)

查看SELinux的状态:

图片

修改配置文件为disabled需要重启机器:

图片

vi /etc/sysconfig/selinux

四、制作本地源

制作本地源只需要在主节点上进行即可

4.1相关工作准备

4.1.1 安装Apache HTTP服务器

安装HTTP服务器,允许http服务通过防火墙(永久)

     ![图片](https://uploader.shimo.im/f/AtL1PxZcs60HJB38.png!thumbnail)                                         添加Apache服务到系统层随系统自动启动

图片

systemctl start httpd.service

systemctl enable httpd.service

4.1.2 安装本地源制作相关工具

yum install yum-utils createrepo

图片

4.2下载安装资源 (稳定版下载包路径)

Ambari 2.7.1 Repositories

OSFormatURL

这篇关于最全ambari2.7.3+hdp3.1.0 集群搭建及常见问题解决办法整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/741510

相关文章

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

数论入门整理(updating)

一、gcd lcm 基础中的基础,一般用来处理计算第一步什么的,分数化简之类。 LL gcd(LL a, LL b) { return b ? gcd(b, a % b) : a; } <pre name="code" class="cpp">LL lcm(LL a, LL b){LL c = gcd(a, b);return a / c * b;} 例题:

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站,手机流量可以访问IPV6网络的服务,为什么不在电脑搭建Home Assistant(hass),来控制你的设备呢?@智能家居 @万物互联

pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu 安装编译工具链下载sdk 和example编译example 安装编译工具链 sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi libstdc++-arm-none-eabi-newlib 注意cmake的版本,需要在3.17 以上 下载sdk 和ex

Solr 使用Facet分组过程中与分词的矛盾解决办法

对于一般查询而言  ,  分词和存储都是必要的  .  比如  CPU  类型  ”Intel  酷睿  2  双核  P7570”,  拆分成  ”Intel”,”  酷睿  ”,”P7570”  这样一些关键字并分别索引  ,  可能提供更好的搜索体验  .  但是如果将  CPU  作为 Facet  字段  ,  最好不进行分词  .  这样就造成了矛盾  ,  解决方法

ORACLE 11g 创建数据库时 Enterprise Manager配置失败的解决办法 无法打开OEM的解决办法

在win7 64位系统下安装oracle11g,在使用Database configuration Assistant创建数据库时,在创建到85%的时候报错,错误如下: 解决办法: 在listener.ora中增加对BlueAeri-PC或ip地址的侦听,具体步骤如下: 1.启动Net Manager,在“监听程序”--Listener下添加一个地址,主机名写计

Anaconda 中遇到CondaHTTPError: HTTP 404 NOT FOUND for url的问题及解决办法

最近在跑一个开源项目遇到了以下问题,查了很多资料都大(抄)同(来)小(抄)异(去)的,解决不了根本问题,费了很大的劲终于得以解决,记录如下: 1、问题及过程: (myenv) D:\Workspace\python\XXXXX>conda install python=3.6.13 Solving environment: done.....Proceed ([y]/n)? yDownloa