6.1 CDH介绍安装安装前准备

2024-06-07 19:18
文章标签 安装 6.1 cdh 介绍 准备

本文主要是介绍6.1 CDH介绍安装安装前准备,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

CDH 是hadoop的发行版,是hadoop分支中的一种,由cloudera维护,基于稳定版的hadoop构建,提供hadoop核心
CDH3:是最早版本,对应hadoop1.x版本 开始免费版只支持50个机器
CDH4,CDH5,对应hadoop2.X版
安装方式:
clouder Manager 是一个管理CDH端到端的应用,管理监控,诊断,集成
Yum
rpm
Tarball
要是三台虚拟机:内存分配(8G内存):5,1,1
开发jar路径:/opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/

注意:以下步骤除了第8步安装MySQL只在一台机子上做,其他步骤都需要做
1、网络配置 (每台虚拟机联网)
vi /etc/sysconfig/network 修改主机名称
vi /etc/hosts 做好IP机名映射
2,做好几台机子之间免密
执行命令生成密钥。ssh-keygen ,一直enter键就行    (cd /root        ls –al      cd .ssh)
拷贝主节点的公钥到所有节点中去。ssh-copy-id -i id_rsa.pub root@ node2 node2可随意修改node1 node2 (所有需要免密码的服务器)
3、防火墙关闭
service iptables stop 临时关闭防火墙
chkconfig iptables off 永久关闭防火墙
4、SELINUX关闭
setenforce 0 (临时生效)
vi /etc/selinux/config ( SELINUX=disabled) 重启后永久生效
5、安装JDK配置环境变量
上传jdk-7u67-linux-x64.rpm包到服务器
rpm -ivh jdk-7u67-linux-x64.rpm 安装jdk
vim ~/.bash_profile 打开,配置环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bash_profile 刷新环境变量
6,ntpdate自动同步时间:
yum -y install ntpdate 安装ntpdate
ntpdate s2c.time.edu.cn 同步s2c.time.edu.cn 服务器上的时间,服务器地址可以百度ntp服务器
crontab -e 添加到linux定时任务
文档内容:
*/10 * * * * /usr/sbin/ntpdate s2c.time.edu.cn 每隔10分钟执行一次
7,配置本地yum源(使用的系统版本要和源版一样),因为网络源太慢
vi /etc/yum.repos.d/CentOS-Base.repo 可以先备份该文件
文件内容(其他的都可以删除):
[base]
name=CentOS-Local
baseurl= file:///mnt/
gpgcheck= 0
配置镜像库文件:
虚拟机节点-右键-设置-CD/DVD-使用ISO镜像文件-选择CentOS-6.6-x86_64-bin-DVD1.iso完全版本的镜像文件
在虚拟机执行挂载:
mount /dev/cdrom /mnt/ 挂载
umount /mnt 取消挂载
ls /mnt/
清除yum 缓存 重新生成
yum clean all
yum makecache
8,安装配置mysql (只装一台服务器就行):
如果是centos7,直接安装MySQL会报错:

原因是:
CentOS7带有MariaDB而不是MySQL,MariaDB和MySQL一样也是开元的数据库
解决方案:
如果必须要安装MySQL,首先必须添加mysql社区repo通过输入命令:sudo rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm,最后使用像安装MySQL的常规方法一样安装mysql: yum install mysql mysql-server mysql-libs mysql-server
-------------------------------------------------------------------------------
yum -y install mysql-server yum安装MySQL
service mysqld start 启动MySQL
chkconfig mysqld on 添加到开机启动项
mysql 进入mysql客户端
use mysql 切换库
delete from user; 删除默认权限表
重新创建权限用户
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
flush privileges; 刷新权限
quit 退出
mysql -u root -p 登陆(带用户)

9,下载第三方依赖包
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

这篇关于6.1 CDH介绍安装安装前准备的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1040061

相关文章

ESP32 esp-idf esp-adf环境安装及.a库创建与编译

简介 ESP32 功能丰富的 Wi-Fi & 蓝牙 MCU, 适用于多样的物联网应用。使用freertos操作系统。 ESP-IDF 官方物联网开发框架。 ESP-ADF 官方音频开发框架。 文档参照 https://espressif-docs.readthedocs-hosted.com/projects/esp-adf/zh-cn/latest/get-started/index

揭秘未来艺术:AI绘画工具全面介绍

📑前言 随着科技的飞速发展,人工智能(AI)已经逐渐渗透到我们生活的方方面面。在艺术创作领域,AI技术同样展现出了其独特的魅力。今天,我们就来一起探索这个神秘而引人入胜的领域,深入了解AI绘画工具的奥秘及其为艺术创作带来的革命性变革。 一、AI绘画工具的崛起 1.1 颠覆传统绘画模式 在过去,绘画是艺术家们通过手中的画笔,蘸取颜料,在画布上自由挥洒的创造性过程。然而,随着AI绘画工

Linux 安装、配置Tomcat 的HTTPS

Linux 安装 、配置Tomcat的HTTPS 安装Tomcat 这里选择的是 tomcat 10.X ,需要Java 11及更高版本 Binary Distributions ->Core->选择 tar.gz包 下载、上传到内网服务器 /opt 目录tar -xzf 解压将解压的根目录改名为 tomat-10 并移动到 /opt 下, 形成个人习惯的路径 /opt/tomcat-10

VMware9.0详细安装

双击VMware-workstation-full-9.0.0-812388.exe文件: 直接点Next; 这里,我选择了Typical(标准安装)。 因为服务器上只要C盘,所以我选择安装在C盘下的vmware文件夹下面,然后点击Next; 这里我把√取消了,每次启动不检查更新。然后Next; 点击Next; 创建快捷方式等,点击Next; 继续Cont

vcpkg安装opencv中的特殊问题记录(无法找到opencv_corexd.dll)

我是按照网上的vcpkg安装opencv方法进行的(比如这篇:从0开始在visual studio上安装opencv(超详细,针对小白)),但是中间出现了一些别人没有遇到的问题,虽然原因没有找到,但是本人给出一些暂时的解决办法: 问题1: 我在安装库命令行使用的是 .\vcpkg.exe install opencv 我的电脑是x64,vcpkg在这条命令后默认下载的也是opencv2:x6

20.Spring5注解介绍

1.配置组件 Configure Components 注解名称说明@Configuration把一个类作为一个loC容 器 ,它的某个方法头上如果注册7@Bean , 就会作为这个Spring容器中的Bean@ComponentScan在配置类上添加@ComponentScan注解。该注解默认会扫描该类所在的包下所有的配置类,相当于之前的 <context:component-scan>@Sc

【服务器运维】CentOS6 minimal 离线安装MySQL5.7

1.准备安装包(版本因人而异,所以下面的命令中版本省略,实际操作中用Tab自动补全就好了) cloog-ppl-0.15.7-1.2.el6.x86_64.rpmcpp-4.4.7-23.el6.x86_64.rpmgcc-4.4.7-23.el6.x86_64.rpmgcc-c++-4.4.7-23.el6.x86_64.rpmglibc-2.12-1.212.el6.x86_64.r

【服务器运维】CentOS7 minimal 离线安装 gcc perl vmware-tools

0. 本机在有网的情况下,下载CentOS镜像 https://www.centos.org/download/ 1. 取出rpm 有的情况可能不需要net-tools,但是如果出现跟ifconfig相关的错误,就把它安装上。另外如果不想升级内核版本的话,就找对应内核版本的rpm版本安装 perl-Time-Local-1.2300-2.el7.noarch.rpmperl-Tim

Windows/macOS/Linux 安装 Redis 和 Redis Desktop Manager 可视化工具

本文所有安装都在macOS High Sierra 10.13.4进行,Windows安装相对容易些,Linux安装与macOS类似,文中会做区分讲解 1. Redis安装 1.下载Redis https://redis.io/download 把下载的源码更名为redis-4.0.9-source,我喜欢跟maven、Tomcat放在一起,就放到/Users/zhan/Documents

Ubuntu20.04离线安装Docker

1.下载3个docker离线安装包,下载网址: https://download.docker.com/linux/ubuntu/dists/xenial/pool/stable/amd64/ 2.把3个离线安装包拷贝到ubuntu本地执行以下命令 sudo dpkg -i containerd.io_1.4.6-1_amd64.deb sudo dpkg -i docker-ce-c