CentOS7搭建离线部署Cloudera CDH 6.2.0大数据平台

本文主要是介绍CentOS7搭建离线部署Cloudera CDH 6.2.0大数据平台，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

如上述博客有任何错误或者疑问，请加VX：1755337994，及时告知！万分感激！

1.概述

　　CDH，全称Cloudera's Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，提供了Hadoop的核心（可扩展存储、分布式计算），最为重要的是提供基于web的用户界面。

　　CDH的优点：版本划分清晰，更新速度快，支持Kerberos安全认证，支持多种安装方式（如Yum、rpm等）。

　　CDH分为Cloudera Manager管理平台和CDH parcel（parcel包含各种组件的安装包）。这里采用CDH6.2.0。

　　Cloudera Manger下载地址为https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/，如图：

　　CDH6.2.0安装包地址为：https://archive.cloudera.com/cdh6/6.2.0/parcels/

　　由于操作系统为CentOS7，需要下载以下文件：

　　上述文件整理资料百度云下载地址为：

　　链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3

2. 安装步骤

说明：以下操作都是在root用户下进行的

2.1 环境准备

2.1.1. 准备虚拟机（根据自己的系统资源分配虚拟机资源）

2.1.2. 静态IP设置（每个节点）

vim /etc/sysconfig/network-scripts/ifcfg-eth0

service network restart 重启网络生效

yum install -y net-tools ifconfig查看设置

2.1.3. 编辑/etc/hosts文件（每个节点）

cat > /etc/hosts << EOF

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

172.18.26.219 manager1

172.18.26.222 node2

172.18.26.220 node3

172.18.26.218 node4

172.18.26.221 node5

EOF

各个虚拟机设置自己对应的主机名

hostnamectl set-hostname manager1

hostnamectl set-hostname node2

hostnamectl set-hostname node3

hostnamectl set-hostname node4

hostnamectl set-hostname node5

2.1.4. 关闭防火墙、禁止防火墙开机自启（每个节点）

systemctl stop firewalld 关闭防火墙
systemctl disable firewalld 禁止防火墙开机自启
vim /etc/selinux/config —> SELINUX=disabled (修改)

2.1.5. ssh无密码登录

manager节点执行ssh-keygen -t rsa 一路回车到结束，在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
chmod 600 ~/.ssh/authorized_keys

ssh-copy-id -i /root/.ssh/id_rsa.pub root@manager1

ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2

ssh-copy-id -i /root/.ssh/id_rsa.pub root@node3

ssh-copy-id -i /root/.ssh/id_rsa.pub root@node4

ssh-copy-id -i /root/.ssh/id_rsa.pub root@node5