linux下基于hadoop安装hive和Zeppelin安装

2024-01-08 04:38

本文主要是介绍linux下基于hadoop安装hive和Zeppelin安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

将包放在opt目录下

/opt/soft/hive110/lib目录下

[root@wq opt]# tar -zxf hive-1.1.0-cdh5.14.2.tar.gz
[root@wq opt]# mv hive-1.1.0-cdh5.14.2 soft/hive110
[root@wq opt]# cd /opt/soft/hive110/conf
[root@wq conf]# touch hive-site.xml
[root@wq conf]# vim hive-site.xml

修改hive-site.xml如下(ip地址需要更改

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>hive110/warehouse</value></property><property><name>hive.metastore.local</name><value>false</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.100.155:3306/hive?useSSL=false&amp;createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>okok</value></property><property><name>hive.server2.authentication</name><value>NONE</value></property><property><name>hive.server2.thrift.client.user</name><value>root</value></property><property><name>hive.server2.thrift.client.password</name><value>root</value></property>
</configuration>
[root@wq conf]# vim /etc/profile
[root@wq conf]# source /etc/profile

修改profile文件如下

#hive environment
export HIVE_HOME=/opt/soft/hive110
export PATH=$path:$hive_home/bin

bin下方 

schematool -dbType mysql -initSchema

启动hive (bin下

 hive --service hiveserver2 & 

第二章Beeline用法

beeline -u jdbc:hive2://192.168.100.155:10000/mydemo

启动脚本

#! /bin/bashmy_start(){if [ $1 == "start" ];then#start hadoopsh /opt/soft/hadoop260/sbin/start-dfs.shsh /opt/soft/hadoop260/sbin/start-yarn.sh#start hivenohup  /opt/soft/hive110/bin/hive --service hiveserver2 &#start zeppelinsh /opt/soft/zeppelin081/bin/zeppelin-daemon.sh startecho "start over"else#close zeppelinsh /opt/soft/zeppelin081/bin/zeppelin-daemon.sh stop#close hivehiveprocess=`jps | grep RunJar | awk '{print $1}'`for no in $hiveprocessdokill -9 $no  #如果出现多个Jar 循环删除done#stop hadoopsh /opt/soft/hadoop260/sbin/stop-dfs.shsh /opt/soft/hadoop260/sbin/stop-yarn.shecho "stop over"fi
}my_start $1
chmod +x run.sh
source run.sh start
source run.sh stop

Zeppelin安装

tar -zvxf zeppelin-0.8.1-bin-all.tgz
mv zeppelin-0.8.1-bin-all soft/zeppelin081
 cd soft/zeppelin081/conf

修改 配置文件

cp zeppelin-site.xml.template zeppelin-site.xml
vim zeppelin-site.xml
<property><name>zeppelin.helium.registry</name><value>helium</value>
</property>
cp zeppelin-env.sh.template zeppelin-env.sh

添加JAVA_HOME和HADOOP_CONF_DIR  (指定自己的java和hadoop安装目录)

vim zeppelin-env.sh   
 export JAVA_HOME=/opt/soft/jdk180
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop     
 vim /etc/profilesource /etc/profile
#zeppelin environment
export ZEPPELIN_HOME=/opt/soft/zeppelin081export PATH=$PATH:$ZEPPELIN_HOME/bin
[root@wq bin]# cp /opt/soft/hive110/conf/hive-site.xml /opt/soft/zeppelin081/conf/

导入jar包

[root@wq bin]# cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/opt/soft/zeppelin081/interpreter/jdbc
cp /opt/soft/hive110/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/soft/zeppelin081/interpreter/jdbc/
zeppelin-daemon.sh start

 进入http://192.168.100.155:8080/#/

 

 

default.driver   org.apache.hive.jdbc.HiveDriver

default.url     jdbc:hive2://192.168.42.200:10000

default.user    hive

 

这篇关于linux下基于hadoop安装hive和Zeppelin安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/582341

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理,打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip

Centos7安装JDK1.8保姆版

工欲善其事,必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前,我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置,我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写,提升学习效率,减少不必要的困扰和挫折感。因此,在学习Java之初,投入一些时间和精力来配置好开发环境是非常值得的。这将为我