搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二)

2023-10-17 06:32

本文主要是介绍搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 续上一篇:

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)
1、  创建文件夹
1.1、在hive文件下创建文件夹

[root@localhost hive]# cd /usr/hive
[root@localhost hive]# mkdir warehouse

1.2、/tmp系统目录下创建方法
[root@localhost tmp]# mkdir hive
[root@localhost tmp]# mkdirhive/operaion_logs
[root@localhost tmp]# mkdirhive/resources


2、  配置hive
2.1、生成配置文件

[root@localhost hive]# cd conf
[root@localhost conf]# cphive-env.sh.template hive-env.sh
[root@localhost conf]# cphive-default.xml.template hive-site.xml
[root@localhost conf]# cphive-log4j2.properties.template hive-log4j2.properties
[root@localhost conf]# cphive-exec-log4j2.properties.template hive-exec-log4j2.properties

   2.2、修改配置文件

   2.2.1、修改文件(hive-env.sh)

[root@localhostconf]# vim hive-env.sh

--添加

# sethadoop/hive/jdk(java) path
exportHADOOP_HOME=/usr/hadoop
exportHIVE_HOME=/usr/hive
export JAVA_HOME=/usr/java/jdk1.8.0_111
exportHIVE_CONF_DIR=/usr/hive/conf


 

2.2.2、修改文件(hive-site.xml)

--编辑文件

[root@localhostconf]# gedit hive-site.xml


查找关健字

${system:java.io.tmpdir}/${hive.session.id}_resources替换为本机路径/tmp/hive/resources

${system:java.io.tmpdir}/${system:user.name}/operation_logs替换为本机路径/tmp/hive/operation_logs

${system:java.io.tmpdir}/${system:user.name}替换为本机路径 /tmp/hive

3、  启动hive(hadoop服务需要主启用才能做以下操作)
3.1调用hive

[root@localhost hive]# schematool -dbType derby -initSchema
[root@localhost hive]# hive
hive> 
启用成功显示命令行显示为 hive> 
3.2 测试连接

hive> create table Test(id int,name string);
OK
Time taken: 2.999seconds
hive> describe test;
OK
id                    int                                        
name                string                                      
Time taken: 0.821seconds, Fetched: 2 row(s)
hive>
--测试创建表,查看表信息,以上显示为测试成功显示效果

这篇关于搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223581

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

Hadoop企业开发案例调优场景

需求 (1)需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 (2)需求分析: 1G / 128m = 8个MapTask;1个ReduceTask;1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务(4    3    3) HDFS参数调优 (1)修改:hadoop-env.sh export HDFS_NAMENOD

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数