cdh部署

2024-08-30 18:32
文章标签 部署 cdh

本文主要是介绍cdh部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

cdh部署

 

 

supermicro安装环境

本次安装基于无因特网的环境，共安装2个节点（一个master节点，一个data及节点），所用系统为centos7.x,所有安装过程均使用root用户。具体的节点信息如下:

节点名称

节点id

mgmt

192.168.111.134

data1

192.168.111.135

安装步骤

环境准备

  1. 1.       上传安装软件包到主机(仅主节点)

在根目录创建soft文件夹：mkdir /soft

通过scp工具将所有软件包上传

 

  1. 2.       网络配置（所有节点）

修改主机名：vim /etc/sysconfig/network

NETWORKING=yes 

HOSTNAME={主机名称}

例如:

 

 

修改host名称：vi /etc/hostname

 

 

修改ip与主机名的对应关系：vim /etc/hosts

 

重启网卡：service network restart

 

  1. 3.       打通SSH，设置ssh无密码登陆（所有节点）

以下命令在mgmt节点执行

生成密钥：ssh-keygen -t rsa一直回车直至生成

 

将公钥复制到已认证文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

更改authorized_keys权限:chmod 600 ~/.ssh/authorized_keys

将authorized_keys复制到data1节点：scp ~/.ssh/authorized_keys root@data1:~/.ssh/

以下命令在data1节点执行

生成密钥：ssh-keygen -t rsa

将本机密钥追加到mgmt公钥中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将新的authorized_keys重新复制回mgmt：scp ~/.ssh/authorized_keys root@mgmt:~/.ssh/

这样，两台主机将能够免密码登录。这时两台主机的authorized_keys如下:

 

  1. 4.       安装jdk（所有节点）

卸载自带的openjdk

查看自带jdk版本：rpm -qa | grep java

 

根据相依的版本卸载对应的jdk，如:rpm -e --nodeps java-1.4.2-gcj-compat-1.4.2.0-40jpp.115

如果/usr/java/文件夹不存在，则创建该文件夹：mkdir /usr/java

以下命令在主节点执行

解压jdk安装包: tar -xvf jdk*.tar.gz -C /usr/java/

将jdk复制到各个子节点:scp -r /usr/java/ root@data1:/usr/

以下命令在所有节点执行

创建jdk软连接: ln -s /usr/java/jdk* /usr/java/default

执行完毕后每一个节点的/user/java目录如下:

 

配置环境变量/etc/profile，增加一下3行

export JAVA_HOME=/usr/java/default

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

调用命令使修改生效:source /etc/profile

调用 java –version 查看jdk是否安装成功

 

  1. 5.       关闭防火墙和SELinux（所有节点）

关闭防火墙

停止firewall：systemctl stop firewalld.service

禁止firewall开机启动：systemctl disable firewalld.service

查看默认防火墙状态：firewall-cmd --state #（关闭后显示notrunning，开启后显示running）

 

关闭SELinux： set enforce 0（临时生效）

修改vi /etc/selinux/config下的

SELINUX=disabled

 

  1. 安装数据库Mariadb（仅主节点）

cd /soft/

解压/soft/localReop.zip：unzip /soft/localRepo.zip

备份本地yum配置：cp -r /etc/yum.repos.d /etc/yum.repos.d.back

删除yun源配置:rm -rf /etc/yum.repos.d/*

复制新的yum源：cp –r local_repo.repo /etc/yum.repos.d

清除yum源缓存:yum clean all

刷新yum源：yum repolist

安装 mariadb：yum -y install mariadb mariadb-server

启动mariadb：systemctl start mariadb

通过命令: mysql -uroot进入Mariadb，并依次输入一下sql命令：

use mysql;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'mgmt' IDENTIFIED BY 'root' WITH GRANT OPTION;

flush privileges;

create database hive DEFAULT CHARSET latin1;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; 

create database rm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database nas DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database nms DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

至此准备工作全部结束。

安装Cloudera Manager Server 和Agent

解压Cloudera Manager安装包到/opt：tar -zxvf /soft/cloudera-manager-centos7-cm5.6.1_x86_64.tar.gz -C /opt/

复制mysql驱动：cp /soft/mysql-connector-java-5.1.37.jar /opt/cm-5.6.1/share/cmf/lib/

复制mysql驱动(不能要版本号)：cp /soft/mysql-connector-java-5.1.37.jar /usr/share/java/mysql-connector-java.jar

初始化cm数据库：/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hmgmt -uroot -proot --scm-host mgmt scm scm scm

在这里后面的参数分别是：数据库类型数据库名称数据库主机名数据库用户名密码 --scm-host cmserver主机名 scm scm scm

修改agent配置：vi /opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini

修改配置server_host=mgmt

 

替换压缩包中的client_configs.py文件：cp /soft/client_configs.5.6.1.py /opt/cm-5.6.1/lib64/cmf/agent/src/cmf/client_configs.py

同步Agent到其他所有节点：scp -r /opt/cm-5.6.1/ root@data1:/opt/

以下命令在所有节点运行：

在所有节点创建cloudera-scm用户：useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 

以下命令在主节点运行：

cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel /opt/cloudera/parcel-repo/

cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/

cp /soft/manifest.json /opt/cloudera/parcel-repo/

mv /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el7.parcel.sha

 

在主节点启动cloudera-scm-server服务：/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start

在所有节点启动cloudera-scm- agent服务：/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start

在浏览器输入：http://mgmt:7180/cmf/login进入cdh安装界面。

使用用户名：admin密码：admin进行登录。

 

 

选择当前管理的主机，全部勾选，点击继续

 

选择使用parcel包安装，并选择5.6.1版本，点击继续。

 

等待分配激活。

 

等待主机检查。

 

选择所有服务。

 

根据需求选择主机角色。

 

设置各个组件数据库。

 

其中HDFS配置时：NameNode选择name1，SecondaryNameNode选择name2，DataNode选择data节点。

 

根据需求配置hdfs。

 

等待集群初始化。

 

DataNode数据目录需放最大的盘，其他位默认值，df命令查看磁盘空间。

 

至此cdh安装完毕。

 

当hive启动报错，出现mysql中不能自动建表，需要在hive的配置中添加如下代码：

位置：

hive-site.xml 的 Hive 服务高级配置代码段（安全阀）

Hive（服务范围） 

添加代码：（实现mysql自动创表）

<property> 

    <name>datanucleus.readOnlyDatastore</name> 

    <value>false</value> 

</property> 

<property>  

    <name>datanucleus.fixedDatastore</name> 

    <value>false</value>  

</property> 

<property>  

    <name>datanucleus.autoCreateSchema</name>  

    <value>true</value>  

</property> 

<property> 

    <name>datanucleus.autoCreateTables</name> 

    <value>true</value> 

</property> 

<property> 

    <name>datanucleus.autoCreateColumns</name> 

    <value>true</value> 

</property> 

hive-site.xml 的 Hive 复制高级配置代码段（安全阀）

<property> 

    <name>datanucleus.readOnlyDatastore</name> 

    <value>false</value> 

</property> 

<property>  

    <name>datanucleus.fixedDatastore</name> 

    <value>false</value>  

</property> 

<property>  

    <name>datanucleus.autoCreateSchema</name>  

    <value>true</value>  

</property> 

<property> 

    <name>datanucleus.autoCreateTables</name> 

    <value>true</value> 

</property> 

<property> 

    <name>datanucleus.autoCreateColumns</name> 

    <value>true</value> 

</property> 

并按下图进行配置：

 

关机后，系统需要重新启动：

  1. 首先启动mariadb

service mariadb start

  1. 然后启动cloudarer服务

/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start

  1. 查看启动状态

/opt/cm-5.6.1/etc/init.d/cloudera-scm-server status

4.同时启动agent

/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start

 

 

 

 

 

 

 

设置开机启动：

systemctl enable mariadb

主节点上

cp /opt/cm-5.6.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server

 

vim /etc/init.d/cloudera-scm-server

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.6.1/etc/default}

 

chkconfig --add cloudera-scm-server

chkconfig cloudera-scm-server on

 

所有节点上

cp /opt/cm-5.6.1//etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent

 

vim /etc/init.d/cloudera-scm-agent

CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.6.1/etc/default}

 

chkconfig --add cloudera-scm-agent

chkconfig cloudera-scm-agent on

 

 

 

针对hive创建库失败的修改：

  1. 需要在cdh的管理界面中点击hdfs，修改其中的权限。
  2. 点击配置，将检查 HDFS 权限的√去掉。
  3. 点击安全性，Hadoop 安全授权勾选，并且在授权的用户中添加要授权的root。

针对hive创建表失败的修改：

1.需要连接hive的mysql，在hive的库中修改字符集，要使用latin1。

 

安装过程中如果出错，需删除数据库cm，然后删除以下目录中的内容（所有节点）：

cd /opt/cm-5.6.1/run/cloudera-scm-agent/

rm -rf  ./*

然后初始化cm数据库：/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hmgmt -uroot -proot --scm-host mgmt scm scm scm

 

 

 

 

 

选择空间比较大的盘来安装

 

Sqoop从Oracle导入到hive

将Oracle驱动包ojdbc6.jar放到 sqoop/lib下

 

 

sqoop import --connect ‘jdbc:oracle:thin:@10.111.123.4:1521:orcl?useUnicode=true&characterEncoding=UTF-8’ --username CETC --password CETC123 --hive-drop-import-delims --table CETC2.KC21K1 --split-by id --hive-import

 

posted @ 2018-08-22 01:31 酸奶加绿茶 阅读( ...) 评论( ...) 编辑 收藏

这篇关于cdh部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1121602。

相关文章

在Ubuntu上部署SpringBoot应用的操作步骤

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys
阅读更多...
Jenkins中自动化部署Spring Boot项目的全过程

Jenkins中自动化部署Spring Boot项目的全过程

《Jenkins中自动化部署SpringBoot项目的全过程》：本文主要介绍如何使用Jenkins从Git仓库拉取SpringBoot项目并进行自动化部署,通过配置Jenkins任务,实现项目的... 目录准备工作启动 Jenkins配置 Jenkins创建及配置任务源码管理构建触发器构建构建后操作构建任务
阅读更多...
若依部署Nginx和Tomcat全过程

若依部署Nginx和Tomcat全过程

《若依部署Nginx和Tomcat全过程》文章总结了两种部署方法：Nginx部署和Tomcat部署,Nginx部署包括打包、将dist文件拉到指定目录、配置nginx.conf等步骤,Tomcat部署... 目录Nginx部署后端部署Tomcat部署出现问题：点击刷新404总结Nginx部署第一步：打包
阅读更多...
Nginx、Tomcat等项目部署问题以及解决流程

Nginx、Tomcat等项目部署问题以及解决流程

《Nginx、Tomcat等项目部署问题以及解决流程》本文总结了项目部署中常见的four类问题及其解决方法：Nginx未按预期显示结果、端口未开启、日志分析的重要性以及开发环境与生产环境运行结果不一致... 目录前言1. Nginx部署后未按预期显示结果1.1 查看Nginx的启动情况1.2 解决启动失败的
阅读更多...
闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
在 Windows 上部署 gitblit

在 Windows 上部署 gitblit

在 Windows 上部署 gitblit 在 Windows 上部署 gitblit 缘起gitblit 是什么安装JDK部署 gitblit 下载 gitblit 并解压配置登录注册为 windows 服务 修改 installService.cmd 文件运行 installService.cmd运行 gitblitw.exe查看 services.msc 缘起
阅读更多...
Solr部署如何启动

Solr部署如何启动

Solr部署如何启动 Posted on 一月 10, 2013 in:  Solr入门 | 评论关闭 我刚接触solr，我要怎么启动，这是群里的朋友问得比较多的问题， solr最新版本下载地址： http://www.apache.org/dyn/closer.cgi/lucene/solr/ 1、准备环境 建立一个solr目录，把solr压缩包example目录下的内容复制
阅读更多...
Spring Roo 实站（ 一 ）部署安装 第一个示例程序

Spring Roo 实站（ 一 ）部署安装 第一个示例程序

转自：http://blog.csdn.net/jun55xiu/article/details/9380213 一：安装 注：可以参与官网spring-roo： static.springsource.org/spring-roo/reference/html/intro.html#intro-exploring-sampleROO_OPTS http://stati
阅读更多...
828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节，Flexus X实例的促销力度非常大，特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求，一定不要错过这个机会。赶紧去看看吧！ 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2