使用beeline命令行访问Impala集群

2024-01-07 21:48

本文主要是介绍使用beeline命令行访问Impala集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Impala本身提供了两种接口进行访问:beeswax和hs2,其中beeswax是impala自己开发的api,而hs2是兼容hive的。由于beesswax的连接方式需要使用impala自己提供的python脚本,而且不支持HA,因此这里就不再多做介绍。本文主要介绍如何使用hive的beeline客户端来连接impala集群。目前我们内部的Impala集群都支持zk的高可用,来解决单点故障的问题。不过对于用户来说,单节点和高可用只是体现在URL的不同,其他并无区别。

下面就介绍下,用户如何在自己的服务器上配置beeline客户端来访问线上的impala集群。

配置kerberos相关软件

这里以debian系统为例,我们需要安装如下软件:

apt-get install krb5-user krb5-config

安装完成之后,我们可以通过klist -kt xxx.keytab命令来验证是否安装成功,如果安装成功,我们就可以查看对应keytab文件的principal,如下所示:

kerberos客户端安装完成之后,我们需要配置/etc/krb5.conf,该文件的内容可以咨询相关的开发/运维同事,主要是配置kdc的内容,修改该文件一般需要root命令。配置完成后,我们可以通过kinit -kt xxx.keytab xxx/xxx@xxx命令来进行kerberos认证。其中,xxx/xxx@xxx就是上图中的Principal。如果该命令执行成功,那么我们可以通过执行klist来查看该命令是否执行成功,结果如下图所示:

如果结果跟上图一样,则说明kerberos认证已经成功。接着,我们就可以进行如下配置了。

配置带jce的jdk

现在线上的集群基本都是配置了kerberos的,因此我们需要配置带jce的jdk,那么如何判断下载的jdk是是否带有jce模块呢?只需要执行以下的命令:

./bin/jrunscript -e 'print (javax.crypto.Cipher.getMaxAllowedKeyLength("RC5") >= 256);'

返回true表示安装了jce,返回false则表示没有安装jce。记住,在执行命令的时候,jrunscript一定要是指定jdk路径下的bin路径中的。有些线上服务器可能并没有将JDK加入到classpath中,因此我们需要进入到对应的jdk路径中,然后执行./bin/jrunscript,这里记住一定不要出错。关于java的jce安装,这里就不再多做介绍,大家可以自行百度,也可以直接从下面的地址来进行下载配置:

wget http://repo.bdms.service.163.org/release_packages/debian8/java/ne-jdk-8u152-linux-x64.tar.gz

下载配置Hadoop客户端

接着我们需要配置hadoop相关的客户端,这里直接从开源社区下载即可,不需要安装其他的插件,解压之后,我们需要进行如下配置:

在../etc/hadoop/core-site.xml中加入如下配置:

<property><name>hadoop.security.authentication</name><value>kerberos</value>
</property>

如果下载的hadoop包中,../etc/hadoop/路径下没有core-site.xml,新建一个加入该配置项即可。然后在../etc/hadoop/hadoop-env.sh文件中加入以下内容:

export JAVA_HOME=xxx

其中,xxx就是上面步骤中,下载的jdk,解压之后的路径。到这里,我们就完成了hadoop客户端的配置。

官方hadoop-2.9.2下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

下载配置Hive客户端

接着,我们需要下载并配置Hive相关的客户端,这里也可以直接从开源社区下载即可。下载解压之后,我们在../conf/hive-env.sh文件中加入如下内容:

export HADOOP_HOME=xxx

HADOOP_HOME就是我们前面下载的hadoop包解压之后的路径,如果没有../conf/hive-env.sh,可以直接将../conf/hive-env.sh.template复制并重命名为hive-env.sh即可。

官方hive-2.3.4下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz

连接impala集群

配置完成后,我们可以在hive的解压目录下执行如下命令,连接至impala集群:

./bin/beeline -u "xxx"

其中,xxx是impala集群的连接地址,可以咨询相关的开发/运维同事。连接成功后,我们就可以直接输入相关的SQL来进行查询了,如下所示:

我们还可以通过执行./bin/beeline -h来查看beeline的更多用法,如下所示:

不带kerberos的连接

如果impala集群是不带kerberos配置的,那么使用就比较方便,我们就省去了kerberos的认证操作,直接使用如下命令连接即可:

./bin/beeline -u "jdbc:hive2://localhost:21050/default;auth=noSasl" -n xxx

其中,主要的变动就是加上了auth=noSasl。同时,由于没有kerberos的认证,因此我们还需要手动指定username,-n变量就是这个作用。

到这里,beeline连接impala集群的介绍就已经完成了,希望可以帮助到大家。

这篇关于使用beeline命令行访问Impala集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/581330

相关文章

使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)

《使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)》在现代软件开发中,处理JSON数据是一项非常常见的任务,无论是从API接口获取数据,还是将数据存储为JSON格式,解析... 目录1. 背景介绍1.1 jsON简介1.2 实际案例2. 准备工作2.1 环境搭建2.1.1 添加

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面,确认是否启动成功

使用Nginx来共享文件的详细教程

《使用Nginx来共享文件的详细教程》有时我们想共享电脑上的某些文件,一个比较方便的做法是,开一个HTTP服务,指向文件所在的目录,这次我们用nginx来实现这个需求,本文将通过代码示例一步步教你使用... 在本教程中,我们将向您展示如何使用开源 Web 服务器 Nginx 设置文件共享服务器步骤 0 —

Java中switch-case结构的使用方法举例详解

《Java中switch-case结构的使用方法举例详解》:本文主要介绍Java中switch-case结构使用的相关资料,switch-case结构是Java中处理多个分支条件的一种有效方式,它... 目录前言一、switch-case结构的基本语法二、使用示例三、注意事项四、总结前言对于Java初学者