1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)

2024-03-16 13:08

本文主要是介绍1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先感谢,基本参照 https://www.bbsmax.com/A/QV5ZP3E4zy/
网上已经有为啥还要写,一怕其他消亡,二说明修正整理下安装过程和心得还有问题解决

下载地址

CentOS下载地址:http://isoredirect.centos.org/centos/7/isos/x86_64/
CentOS百度网盘:https://pan.baidu.com/s/196ji62wTpIAhkTw9u4P6pw:提取码:seqd

CM下载地址:https://archive.cloudera.com/cm6/
CM百度网盘地址:https://pan.baidu.com/s/1W2urUqeOPE4_cJP-IVXxGw 提取码:r1h8

CDH 下载地址:https://archive.cloudera.com/cdh6/6.2.0/parcels/
CDH百度网盘地址:https://pan.baidu.com/s/13T9cHx8VVm2Xf8KxvweJWg 提取码:hnki

集群多少配置合适

配置多高适合你们看下图就明白了 spark hive hbash hue只配了2,3
在这里插入图片描述在这里插入图片描述

虚拟机

centos/7/isos/x86_64/ 三台 需要配联网
在这里插入图片描述
在这里插入图片描述
网卡这的DNS 8.8.8.8和里面的DNS配置对齐 VM8的网自动获取 改掉和虚拟机配置的同网段地址不冲突即可

在这里插入图片描述

在这里插入图片描述
这个分区学下 其他很正常虚拟机安装差不了多少
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

配置公共环境

#进入root用户:需要输入密码

su root

#如下图中修改配置文件

ifconfig
vim /etc/sysconfig/network-scripts/ifcfg-ens33

因为要说明 一行行自己处理吧
#别打引号 重启service network restart直接木得用

BOOTPROTO=static  #这儿别漏
ONBOOT=yes   
#(三台机器IPADDR:10,11,12) 对应虚拟机DHCP区间大点 不然这大点
#188 这个和虚拟机 和 网卡那配置同网段
IPADDR=192.168.188.10  
NETMASK=255.255.255.0
#对应虚拟机NAT
GATEWAY=192.168.188.2
#对应网卡那 DNS2备用配了 好像网好点
DNS1=8.8.8.8
DNS2=114.114.114.114
#增加内容END
#修改完文件后,重启网络服务

#network restart启动失效可能是参数写错了

service network restart

验证网络是否通畅 我ping自闭了 网有些飘 可把wifi启停下

ping www.baidu.com 

永久关闭网络管理让机子强行执行静态分配

   #停止网络管理systemctl stop NetworkManager#删除网络管理systemctl disable NetworkManager#重启网络systemctl restart network.service

永久关闭网络管理让机子强行执行静态分配

#查看防火墙状态systemctl status firewalld.service
#临时关闭防火墙systemctl stop firewalld.service
#禁止firewall开机启动systemctl disable firewalld.service

关闭内核防火墙

#临时关闭内核防火墙
setenforce 0
getenforce
#永久关闭内核防火墙
vim /etc/selinux/config

下面这些在没复制或移动虚拟机前 我觉得都搞好先 多省事

yum update
yum install -y yum-utils device-mapper-persistent-data lvm2
#加个阿里云 
yum-config-manager --add-rep http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum -y install ntp

#本来是安装到后面的,先处理不香吗?搞完下面 公共部分处理完了

问题一
#临时
sysctl vm.swappiness=10
#永久
echo 'vm.swappiness=10'>> /etc/sysctl.conf
#问题二
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#将问题二命令复制进来,转发给其他机器
vim /etc/rc.local
scp /etc/rc.local root@xxxx:/etc/

配置单独环境

首先移动或复制虚拟机,点是复制的话改了ip和host在虚拟机外面配置把网络适配器移除了在加上就好
点移动的话,改了ip和host 好像还有mac和uuid要改

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改下面的,然而没用

#cdh01机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh01.cm#cdh02机器名
vim /etc/sysconfig/network
#增加如下内容:
NETWORKING=yes
HOSTNAME=cdh02.cm#cdh03机器名
vim /etc/sysc

这篇关于1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/815595

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

Centos7安装JDK1.8保姆版

工欲善其事,必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前,我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置,我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写,提升学习效率,减少不必要的困扰和挫折感。因此,在学习Java之初,投入一些时间和精力来配置好开发环境是非常值得的。这将为我

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本,包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k