【Ambari】CentOS7.3 内网环境安装Ambari2.7.4+HDP3.1.4（阿里云服务器）

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁

🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！🍁🐥

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ，每天进步一点点！加油！

 

 目录

一、基本环境 准备

1.1、系统环境说明

1.2、基本配置

1.主机名映射的修改

 2.关闭防火墙

 3. 关闭SELINUX

 4.关闭Linux的THP服务

5. SSH免密登录

6.时钟同步

7.配置最大打开文件数最大进程数等操作系统限制

8.安装JDK 

9.安装httpd服务

10. 数据盘格式挂载

11.MySQL 数据库安装

 二、Ambari制作本地的yum 源

2.1、配置repo文件

三、Ambari 安装

3.1、 使用Ambari自带脚本创建表

3.2、 ambari-server setup 具体步骤 

四、HDP安装

4.1、登入ambari开始launch集群

4.2 组件的添加

1、选择 Services

2、根据需求继续添加就可以，跟前面的安装是一样的

4.3、高可用配置

---

一、基本环境 准备

---

1.1、系统环境说明

---

环境：阿里云内网服务器

Ambari 离线下载：

https://docs.cloudera.com/HDPDocuments/Ambari-2.7.4.0/bk_ambari-installation/content/ambari_repositories.html

下载地址:https://docs.cloudera.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html

MySQL 安装参考（绕过坑）：linux 安装 MySQL5.7.19（Your password does not satisfy the current policy requirements 或 using ALTER ）_开着拖拉机回家的博客-CSDN博客

说明：阿里云 内网 服务器，使用跳板机 登录，安装包 放在跳板机 ，上传文件很大使用WinSCP， 平时 练手的可以使用虚拟机也是 OK 的 

配置：

10.174.96.212 root 8核32G 40G（系统盘） + 2T（数据盘）  hdp02
10.168.138.188 root 8核32G 20G （系统盘）+ 500G（数据盘） hdp01

这块安装可以参考： Apache Ambari-2.7.3+Centos7离线安装

Apache Ambari-2.7.3+Centos7离线安装_@TangXin的博客-CSDN博客

官网版本核对Ambari 对应的 系统，数据库，JDK一定要正确 

HDP

                                                                                           版本选择 

组件	描述
操作系统	CentOS7.4
Ambari	2.7.4
HDP	3.1.4.0
HDP-GPL	3.1.4.0
HDP-UTILS	1.1.0.22
MySQL	5.7.19
OracleJDK	1.8.0_162
X86	X86-64

1.2、基本配置

---

说明：基本的配置两台机器都要做，MySQL 安装在 ambari-server 的那台 10.168.138.188

1.主机名映射的修改

vim /etc/sysconfig/network
vim /etc/hosts
hostnamectl set-hostname <newhostname>   执行 此设置，重新打开 Xhell会话

 2.关闭防火墙

systemctl stop firewalld
systemctl status firewalld
systemctl disable firewalld
systemctl enable firewalld

 3. 关闭SELINUX

 4.关闭Linux的THP服务

如果不关闭transparent_hugepage，HDFS会因为这个性能严重受影响。

关闭transparent_hugepage方法是：

[root@hdp02 ~]# vim /etc/grub.conf添加 transparent_hugepage=never[root@hdp02 ~]# vim /etc/rc.local 添加：

​
if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled
fi

5. SSH免密登录

生成公钥和私钥ssh-keygen -t rsa命令，一路回车就OK以ssh-copy-id命令拷贝秘钥实现免密码登录ssh-copy-id -i /root/.ssh/id_rsa.pub hdp02

6.时钟同步

安装ntp客户端使用netpdate -u同步时间， 10.168.138.188 是一个自建的时间服务器（也可以指定任何一个时间服务器）yum -y install chronysystemctl start chronyd

 配置开机启动

systemctl enable chronyd.service

时钟同步两种方式参考文档Linux进阶_时间同步(NTP与chrony)_十三y的博客-CSDN博客_chrony和ntp对比

ntp：将系统时钟和世界协调时UTC同步，精度在局域网内可达0.1ms，在互联网上绝大多数的地方精度可以达到1-50ms，项目官网：http://www.ntp.org

chrony：通过Internet同步的两台机器之间的典型精度在几毫秒之内，在LAN上，精度通常为几十微秒。利用硬件时间戳或硬件参考时钟，可实现亚微秒的精度

7.配置最大打开文件数最大进程数等操作系统限制

vim /etc/security/limits.conf*  -  nofile  409600
*  -  nproc  63535
root -  nofile  409600
root -  nproc  63535

8.安装JDK 

1. 在 hdp01  根目录创建 /usr/java 文件夹解压
2. 打开/etc/profile文件

export JAVA_HOME=/usr/java/jdk1.8.0_251
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

 查看版本是否正确

执行 yum -y install mysql-connector-java*  安装 ambari-server 会用到。

查看路径是否正确

echo $JAVA_HOME  
echo $JRE_HOME
echo $CLASSPATH
echo $PATH

9.安装httpd服务

yum -y install httpd;systemctl start httpd.service
systemctl enable httpd.service #开机启动
systemctl status httpd.service #状态查看

10. 数据盘格式挂载

说明：阿里云的数据盘具体的操作可以参考博客：Linux格式化数据盘(阿里云数据盘挂载)_开着拖拉机回家的博客-CSDN博客

跟挂载普通的磁盘差不多

11.MySQL 数据库安装

官网下载地址，版本可以自己决定，符合Ambari要求就行：MySQL :: Download MySQL Community Server

详细的操作和安装出现的问题可以参考博客（5.7.19）：linux 安装 MySQL5.7.19（Your password does not satisfy the current policy requirements 或 using ALTER ）_开着拖拉机回家的博客-CSDN博客

踩过的坑都已经解决，

[root@hdp01 mysql]# /etc/init.d/mysqld start
Starting mysqld (via systemctl):  [  OK  ]
[root@hdp01 mysql]# 
[root@hdp01 mysql]# cat /var/log/mysqld.log | grep password

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)mysql> set global validate_password_length=8;
Query OK, 0 rows affected (0.00 sec)mysql>  alter user 'root'@'localhost' identified by 'L1234567';
Query OK, 0 rows affected (0.00 sec)mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'L1234567' WITH GRANT OPTION;
Query OK, 0 rows affected, 1 warning (0.00 sec)mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

 安装完成后创建ambari数据库及用户，登录root用户执行下面语句：

mysql> create database ambari character set utf8;
Query OK, 1 row affected (0.00 sec)mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'L1234567';
Query OK, 0 rows affected (0.00 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
Query OK, 0 rows affected (0.01 sec)mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)mysql> 

 创建hive 元数据库

mysql> create database hive character set utf8;
Query OK, 1 row affected (0.00 sec)mysql>  CREATE USER 'hive'@'%' IDENTIFIED BY 'L1234567';
Query OK, 0 rows affected (0.00 sec)mysql>  GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
Query OK, 0 rows affected (0.00 sec)mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

创建 ranger数据库（安全组件）

mysql>  create database ranger character set utf8;
Query OK, 1 row affected (0.00 sec)mysql> CREATE USER 'ranger'@'%' IDENTIFIED BY 'L1234567';
Query OK, 0 rows affected (0.00 sec)mysql> GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%';
Query OK, 0 rows affected (0.00 sec)mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

---

 二、Ambari制作本地的yum 源

---

将 4个 tar 文件解压到 /data 文件并解压 

2.1、配置repo文件

---

本次安装需要配置三个repo文件，分别是 ambari.repo, hdp.repo ,hdp-gpl.repo,具体步骤如下

cd /var/www/html/ln -s /data/ambari ./ambariln -s /data/HDP ./HDPln -s /data/HDP-GPL ./HDP-GPLln -s /data/HDP-UTILS ./HDP-UTILS

将默认的 repo 文件复制到 /etc/yum.repos.d/ 路径下 进行修改 

cp /data/ambari/centos7/2.7.4.0-118/ambari.repo /etc/yum.repos.d/cp /data/HDP/centos7/3.1.4.0-315/hdp.repo /etc/yum.repos.d/cp /data/HDP-GPL/centos7/3.1.4.0-315/hdp.gpl.repo /etc/yum.repos.d/

1. Ambari.repo

[root@hdp01 yum.repos.d]# cat ambari.repo 
#VERSION_NUMBER=2.7.4.0-118
[ambari-2.7.4.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.4.0
baseurl=http://hdp01/ambari/centos7/2.7.4.0-118
gpgcheck=1
gpgkey=http://hdp01/ambari/centos7/2.7.4.0-118/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

2. hdp.repo

[root@hdp01 yum.repos.d]# cat hdp.repo 
#VERSION_NUMBER=3.1.4.0-315
[HDP-3.1.4.0]
name=HDP Version - HDP-3.1.4.0
baseurl=http://hdp01/HDP/centos7/3.1.4.0-315
gpgcheck=1
gpgkey=http://hdp01/HDP/centos7/3.1.4.0-315/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://hdp01/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://hdp01/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

3. hdp.gp1.repo

[root@hdp01 yum.repos.d]# cat hdp.gpl.repo 
#VERSION_NUMBER=3.1.4.0-315
[HDP-GPL-3.1.4.0]
name=HDP-GPL Version - HDP-GPL-3.1.4.0
baseurl=http://hdp01/HDP-GPL/centos7/3.1.4.0-315
gpgcheck=1
gpgkey=http://hdp01/HDP-GPL/centos7/3.1.4.0-315/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

查看Ambari 与 HDP 资源的资源库

[root@hdp01 yum.repos.d]# yum repolist
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
repo id                                            repo name                                                                status
HDP-3.1-GPL-repo-1                                 HDP-3.1-GPL-repo-1                                                            4
HDP-3.1-repo-1                                     HDP-3.1-repo-1                                                              201
!HDP-3.1.4.0                                       HDP Version - HDP-3.1.4.0                                                   201
!HDP-GPL-3.1.4.0                                   HDP-GPL Version - HDP-GPL-3.1.4.0                                             4
!HDP-UTILS-1.1.0.22                                HDP-UTILS Version - HDP-UTILS-1.1.0.22                                       16
HDP-UTILS-1.1.0.22-repo-1                          HDP-UTILS-1.1.0.22-repo-1                                                    16
ambari-2.7.4.0                                     ambari Version - ambari-2.7.4.0                                              13
!base/7/x86_64                                     CentOS-7 - Base                                                          10,070
!epel/x86_64                                       Extra Packages for Enterprise Linux 7 - x86_64                           13,277
!extras/7/x86_64                                   CentOS-7 - Extras                                                           397
!updates/7/x86_64                                  CentOS-7 - Updates                                                          671
repolist: 24,870

将配置好的 repo 文件，scp 到其他的节点

---

三、Ambari 安装

---

• 在 ambari-server机器上执行： yum -y install ambari-server 选 yes 就行
• 拷贝mysql驱动  将mysql-connector-java.jar复制到/usr/share/java目录下并改名为mysql-connector-java.jar

使用  yum -y install mysql-connector-java*  会在 /usr/share/java  下有这个 jar, 只需查看 jar  存在就可以

3.1、 使用Ambari自带脚本创建表

---

mysql >use ambari;mysql>source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

3.2、 ambari-server setup 具体步骤 

---

根据自己的 JAVA_HOME 进行配置就可以

 设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车

显式 如上的  Ambari Server 'setup' completed successfully 就表示 setup 成功。

---

四、HDP安装

---

4.1、登入ambari开始launch集群

---

url： 10.168.138.188:8080

name: admin

passwd: admin

说明：之后将ambari-server 安装在了10.168.138.188 机器上，安装过程是一样的，安装失败后，我重新选择了更多的组件。

1. 点击launch install wizard

 2. 填写主机映射，repo 源地址baseurl

http://10.168.138.188/HDP/centos7/3.1.4.0-315

http://10.168.138.188/HDP-GPL/centos7/3.1.4.0-315

http://10.168.138.188/HDP-UTILS/centos7/1.1.0.22

 3.免密私钥

cat /root/.ssh/id_rsa

可以复制 cat /root/.ssh/id_rsa  也可以保存为文件方便选择 

 4. 确认所有主机注册成功且检查通过

      此处要保证所以的警告信息一个没有，要不然后面安装，启动可能报错，切记！切记！切记

5. 选择要安装的组件

 

 6.根据服务器的性能和角色分配和调整每个节点要运行的服务

7.分配主服务

 8. 输入所有服务的用户名密码，输入之前创建的hive用户名密码，确认test ok

如果 选择了 ranger 也要 配置ranger的数据库 

 9. 确认每个组件的数据目录，结合磁盘挂载情况确定，以及各个组件的日志存放目录，请勿配置在系统目录下。

10.确认每组件的参数配置，参数配置是ambari安装过程中系统自适应的配置，一般不需要调整，如果需要调整也可以调整 

11. 下一步点击deploy

当然了，这一步可能出错，

• 一种是组件的安装成功，那就是环境有问题了，具体查找日志
• 二是组件的启动不成功，如果一个组件启动失败就会报出黄色的安装条，而不是通过，具体问题具体分析

Dashboard

4.2 组件的添加

---

1、选择 Services

2、根据需求继续添加就可以，跟前面的安装是一样的

4.3、高可用配置

---

说明：由于我只有两台机器，所以配置不了高可用只能简单说明。

1、 HDFS高可用

后面的操作差不多，大家有条件的话，可以参考其他优秀的博客

参考的博客：

阿里云服务器搭建及安装Ambari环境 阿里云服务器搭建及安装Ambari环境_THU-xlj的博客-CSDN博客_ambari 阿里云

Linux格式化数据盘(阿里云数据盘) Linux格式化数据盘(阿里云数据盘挂载)_开着拖拉机回家的博客-CSDN博客

linux 安装 MySQL5.7.19 linux 安装 MySQL5.7.19（Your password does not satisfy the current policy requirements 或 using ALTER ）_开着拖拉机回家的博客-CSDN博客

Apache Ambari-2.7.3+Centos7离线安装 Apache Ambari-2.7.3+Centos7离线安装_@TangXin的博客-CSDN博客

------------------------ 感谢点赞！-------------------------------------