CM记录-CDH部署手册

2023-11-27 23:10
文章标签 部署 记录 手册 cm cdh

本文主要是介绍CM记录-CDH部署手册，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.安装环境和软件准备
 CentOS release 7.4
 JDK1.8.0_121
 mysql-connector-java-5.1.40-bin.jar
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
 CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sha
 manifest.json
 MySQL
 cloudera-manager-centos7-cm5.10.2_x86_64.tar

2.机器配置
2.1 主机名 IP 地址规划
主机名 节点类型 IP 地址 主要存储
hadoop01 主节点 192.168.52.60 Namenode（名字节点）
hadoop02 从节点 192.168.52.61 Datanode（数据节点）
hadoop03 从节点 192.168.52.62 Datanode（数据节点）
其他要求：8GB 内存、100GB 数据盘、4 核 cpu
1）三台机器分别修改主机名
hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03
或者 vim /etc/sysconfig/network 加入 HOSTNAME=hadoop01/02/03 等

2）三台机器分别加入主机映射
vim /etc/hosts
192.168.52.60 hadoop01
192.168.52.61 hadodp02
192.168.52.62 hadoop03

2.2 关闭 selinux
1）三台机器分别修改 selinux 安全控制配置
vim /etc/sysconfig/selinux
设置 SELINUX=disabled
2）立即生效
sudo setenforce 0

2.3 关闭防火墙
1）三台机器执行关闭防火墙命令
systemctl stop firewalld
systemctl disable firewalld

2.4 新建目录
1）三台机器分别新建目录
 mkdir /opt/cloudera/parcels -p
 mkdir /opt/cloudera/parcel-cache -p
 mkdir /opt/jdk
2）hadoop01 上新建目录
 mkdir /opt/cloudera/parcel-repo -p

2.5 配置 JDK
1）三台机器分别配置 JDK 环境变量
1.1）从其他主机拷贝 jdk 文件到三台服务器上
scp -r /usr/local/jdk root@192.168.52.60:/opt/cloudera/
scp -r /opt/jdk root@192.168.52.61:/opt/
scp -r /opt/jdk root@192.168.52.62:/opt/
vim /etc/profile

JAVA_HOME=/opt/jdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
export JAVA_HOME CLASSPATH PATH

1.2）生效并测试
#source /etc/profile
#java -version

2.6 配置 NTP 服务
1）三台机器分别配置 ntp 时钟服务
#yum -y install ntp ---安装 ntp
#ntpdate -u ntp1.aliyun.com ---配置阿里云时钟
#systemctl status ntpd.service 开启 ntpd 服务

3.主节点配置 MySQL
#wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql57-community-release-el7-10.noarch.rpm
#yum -y install mysql-community-server

#systemctl start mysqld.service 启动服务
#systemctl status mysqld.service 查看服务状态

#为了加强安全性，MySQL5.7 为 root 用户随机生成了一个密码，在 error log 中，
关于 error log 的位置，如果安装的是 RPM 包，则默认是/var/log/mysqld.log。
只有启动过一次 mysql 才可以查看临时密码
#通过下面的命令查看初始密码，冒号后面的字符就是密码
grep 'temporary password' /var/log/mysqld.log
#登录 mysql 修改 root 密码
# mysql -u root -p
#validate_password_policy 代表密码策略，默认是 1：符合长度，且必须含有数
字，小写或大写字母，特殊字符。设置为 0 判断密码的标准就基于密码的长度了。
一定要先修改两个参数再修改密码
#mysql> set global validate_password_policy=0;
#validate_password_length 代表密码长度，最小值为 4
#mysql> set global validate_password_length=4;
#mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'root123456';
#mysql>flush privileges;
#mysql>exit;
mysql -uroot -proot123456

#授予权限
grant all privileges on *.* to 'root'@'hadoop01' identified by 'root123456' with
grant option;
grant all privileges on *.* to 'root'@'%' identified by 'root123456' with grant
option;
grant all privileges on *.* to 'root'@localhost identified by 'root123456' with
grant option;
#刷新权限列表
flush privileges
exit
4.安装 cloudera manager
4.1 拷贝文件
1）上传文件到服务器并拷贝到主机里指定目录下
2）拷贝 cdh 包文件
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel
root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r
/data/cm/app/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el7.parcel.sh

a root@192.168.52.60:/opt/cloudera/parcel-repo/
scp -r /data/cm/app/cloudera/parcel-repo/manifest.json
root@192.168.52.60:/opt/cloudera/parcel-repo/
3）拷贝 cloudera manager 管理器程序文件
scp -r /root/cloudera-manager-centos7-cm5.10.2_x86_64.tar
root@192.168.52.60:/opt/cloudera/
然后执行 tar xvf cloudera-manager-centos7-cm5.10.2_x86_64.tar 为 cm-5.10.2
scp -r /opt/cm-5.10.2 root@192.168.52.61:/opt/cloudera/
scp -r /opt/cm-5.10.2 root@192.168.52.62:/opt/cloudera/
4.2 主节点添加 scm 用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4.3 拷贝驱动文件
cp mysql-connector-java-5.1.40-bin.jar /opt/cm-5.10.2/share/cmf/lib/
4.4 初始化 cm 数据库
#/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot
-proot123456 --scm-host localhost scm scm scm

4.5 主节点启动 cloudera-scm-server
1）在 hadoop01 执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.6 从节点启动 cloudera-scm-agent
1）从节点 hadoop02/03 cloudera-manger-agent 指向主节点服务器
vim /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
将 server_host 改为 CMS 所在的主机名即 hadoop01
2）在 hadoop02、hadoop03 上执行
#/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start

4.7 安装 cloudera manager service 服务
cdh 包高度集成 hadoop 生态组件，cloudera manager 管理器进行安装 cdh 包。
1）打开浏览器输入以下地址进入 cloudera manager web 管理端
http://192.168.52.60:7180/cmf/login ---用户和密码都是 admin

2）添加 cloudera manager service

3）添加集群

4）三台机器分别拷贝 mysql 连接库到 hive/lib 下
#cp /opt/cm-5.10.2/share/cmf/lib/mysql-connector-java-5.1.40-bin.jar
/opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

5.添加 zookeeper 服务

6.添加 HDFS 服务
添加 HDFS 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 HDFS 服务-分配服务角色

7.添加 Hbase 服务
添加 Hbase 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hbase 服务-分配服务角色

8.添加 Yarn 服务
添加 Yarn 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Yarn 服务-分配服务角色

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色-需要创建数据库

9.添加 Hive 服务
添加 Hive 服务组件同添加 zookeeper 服务的操作是一致的。
依次点击添加服务-勾选 Hive 服务-分配服务角色

 

转载于:https://www.cnblogs.com/xinfang520/p/11191997.html

这篇关于CM记录-CDH部署手册的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/428627。

相关文章

Python获取中国节假日数据记录入JSON文件

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢？我尝试一种更为智能的方法：P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验，
阅读更多...
Spring Boot 配置文件之类型、加载顺序与最佳实践记录

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio
阅读更多...
tomcat多实例部署的项目实践

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录，测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的
阅读更多...
MySQL INSERT语句实现当记录不存在时插入的几种方法

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面：本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE
阅读更多...
SpringBoot配置Ollama实现本地部署DeepSeek

SpringBoot配置Ollama实现本地部署DeepSeek

《SpringBoot配置Ollama实现本地部署DeepSeek》本文主要介绍了在本地环境中使用Ollama配置DeepSeek模型,并在IntelliJIDEA中创建一个Sprin... 目录前言详细步骤一、本地配置DeepSeek二、SpringBoot项目调用本地DeepSeek前言随着人工智能技
阅读更多...
Python 中的异步与同步深度解析(实践记录)

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步：深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步
阅读更多...
Python Dash框架在数据可视化仪表板中的应用与实践记录

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash？1.1
阅读更多...
通过Docker Compose部署MySQL的详细教程

通过Docker Compose部署MySQL的详细教程

《通过DockerCompose部署MySQL的详细教程》DockerCompose作为Docker官方的容器编排工具,为MySQL数据库部署带来了显著优势,下面小编就来为大家详细介绍一... 目录一、docker Compose 部署 mysql 的优势二、环境准备与基础配置2.1 项目目录结构2.2 基
阅读更多...
CentOS 7部署主域名服务器 DNS的方法

CentOS 7部署主域名服务器 DNS的方法

《CentOS7部署主域名服务器DNS的方法》文章详细介绍了在CentOS7上部署主域名服务器DNS的步骤,包括安装BIND服务、配置DNS服务、添加域名区域、创建区域文件、配置反向解析、检查配置... 目录1. 安装 BIND 服务和工具2.  配置 BIND 服务3 . 添加你的域名区域配置4.创建区域
阅读更多...
Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

《SpringBoot中定时任务Cron表达式的终极指南最佳实践记录》本文详细介绍了SpringBoot中定时任务的实现方法,特别是Cron表达式的使用技巧和高级用法,从基础语法到复杂场景,从快速启... 目录一、Cron表达式基础1.1 Cron表达式结构1.2 核心语法规则二、Spring Boot中定
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2