使用beeline命令行访问Impala集群

本文主要是介绍使用beeline命令行访问Impala集群，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Impala本身提供了两种接口进行访问：beeswax和hs2，其中beeswax是impala自己开发的api，而hs2是兼容hive的。由于beesswax的连接方式需要使用impala自己提供的python脚本，而且不支持HA，因此这里就不再多做介绍。本文主要介绍如何使用hive的beeline客户端来连接impala集群。目前我们内部的Impala集群都支持zk的高可用，来解决单点故障的问题。不过对于用户来说，单节点和高可用只是体现在URL的不同，其他并无区别。

下面就介绍下，用户如何在自己的服务器上配置beeline客户端来访问线上的impala集群。

配置kerberos相关软件

这里以debian系统为例，我们需要安装如下软件：

apt-get install krb5-user krb5-config

安装完成之后，我们可以通过klist -kt xxx.keytab命令来验证是否安装成功，如果安装成功，我们就可以查看对应keytab文件的principal，如下所示：

kerberos客户端安装完成之后，我们需要配置/etc/krb5.conf，该文件的内容可以咨询相关的开发/运维同事，主要是配置kdc的内容，修改该文件一般需要root命令。配置完成后，我们可以通过kinit -kt xxx.keytab xxx/xxx@xxx命令来进行kerberos认证。其中，xxx/xxx@xxx就是上图中的Principal。如果该命令执行成功，那么我们可以通过执行klist来查看该命令是否执行成功，结果如下图所示：

如果结果跟上图一样，则说明kerberos认证已经成功。接着，我们就可以进行如下配置了。

配置带jce的jdk

现在线上的集群基本都是配置了kerberos的，因此我们需要配置带jce的jdk，那么如何判断下载的jdk是是否带有jce模块呢？只需要执行以下的命令：

./bin/jrunscript -e 'print (javax.crypto.Cipher.getMaxAllowedKeyLength("RC5") >= 256);'

返回true表示安装了jce，返回false则表示没有安装jce。记住，在执行命令的时候，jrunscript一定要是指定jdk路径下的bin路径中的。有些线上服务器可能并没有将JDK加入到classpath中，因此我们需要进入到对应的jdk路径中，然后执行./bin/jrunscript，这里记住一定不要出错。关于java的jce安装，这里就不再多做介绍，大家可以自行百度，也可以直接从下面的地址来进行下载配置：

wget http://repo.bdms.service.163.org/release_packages/debian8/java/ne-jdk-8u152-linux-x64.tar.gz

下载配置Hadoop客户端

接着我们需要配置hadoop相关的客户端，这里直接从开源社区下载即可，不需要安装其他的插件，解压之后，我们需要进行如下配置：

在../etc/hadoop/core-site.xml中加入如下配置：

<property><name>hadoop.security.authentication</name><value>kerberos</value>
</property>

如果下载的hadoop包中，../etc/hadoop/路径下没有core-site.xml，新建一个加入该配置项即可。然后在../etc/hadoop/hadoop-env.sh文件中加入以下内容：

export JAVA_HOME=xxx

其中，xxx就是上面步骤中，下载的jdk，解压之后的路径。到这里，我们就完成了hadoop客户端的配置。

官方hadoop-2.9.2下载地址：http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

下载配置Hive客户端

接着，我们需要下载并配置Hive相关的客户端，这里也可以直接从开源社区下载即可。下载解压之后，我们在../conf/hive-env.sh文件中加入如下内容：

export HADOOP_HOME=xxx

HADOOP_HOME就是我们前面下载的hadoop包解压之后的路径，如果没有../conf/hive-env.sh，可以直接将../conf/hive-env.sh.template复制并重命名为hive-env.sh即可。

官方hive-2.3.4下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz

连接impala集群

配置完成后，我们可以在hive的解压目录下执行如下命令，连接至impala集群：

./bin/beeline -u "xxx"

其中，xxx是impala集群的连接地址，可以咨询相关的开发/运维同事。连接成功后，我们就可以直接输入相关的SQL来进行查询了，如下所示：

我们还可以通过执行./bin/beeline -h来查看beeline的更多用法，如下所示：

不带kerberos的连接

如果impala集群是不带kerberos配置的，那么使用就比较方便，我们就省去了kerberos的认证操作，直接使用如下命令连接即可：

./bin/beeline -u "jdbc:hive2://localhost:21050/default;auth=noSasl" -n xxx

其中，主要的变动就是加上了auth=noSasl。同时，由于没有kerberos的认证，因此我们还需要手动指定username，-n变量就是这个作用。

到这里，beeline连接impala集群的介绍就已经完成了，希望可以帮助到大家。

这篇关于使用beeline命令行访问Impala集群的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---