Apache Kyuubi 讲解与实战操作

2023-12-21 05:44
文章标签 实战 讲解 操作 apache kyuubi

本文主要是介绍Apache Kyuubi 讲解与实战操作，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 一、概述
    • 二、Spark Kyuubi 架构
    • 三、Hadoop 基础环境安装
      • 1）hadoop 下载部署包
      • 2）创建网络
      • 3）部署MySQL
      • 4）部署 Hadoop Hive
    • 四、Spark Kyuubi 安装
      • 1）下载 Kyuubi
      • 2）下载 Spark3
      • 2）配置 Kyuubi （Spark3）
      • 3）启动 Kyuubi
      • 4）测试使用
    • 五、Apache Kyuubi HA 部署
      • 1）部署 Zookeeper
      • 3）Kyuubi HA 配置
      • 4）启动服务
      • 5）测试

一、概述

Apache Kyuubi，一个分布式多租户网关，用于在 Lakehouse 上提供无服务器 SQL。Kyuubi 是一个基于 Apache Spark 的开源分布式 SQL 引擎，为用户提供了一个统一的 SQL 查询接口，使其能够以标准 SQL 语法查询和分析各种数据源。以下是对 Kyuubi 的详细解释：

  1. 背景和目的：
    • Kyuubi 的目标是提供一个高度并发、可扩展且支持多租户的 SQL 引擎，以满足大数据分析的需求。
    • 它构建在 Apache Spark 之上，借助 Spark 的分布式计算能力，能够处理大规模数据集。
  2. 核心特性：
    • SQL 兼容性： 支持标准 SQL 查询，使用户能够使用熟悉的 SQL 语法。
    • 分布式查询引擎： 利用 Apache Spark 实现分布式查询和计算。
    • 连接池支持： 提供连接池机制，有效管理和重用连接，提高性能。
    • 多租户支持： 允许多个用户或应用程序共享同一个 Kyuubi 服务器，确保隔离性。
    • 身份验证和授权： 集成了身份验证和授权机制，保障数据访问的安全性。
    • 可扩展的数据源支持： 可以连接多种数据源，包括 Hive、HBase 和其他兼容 Spark 的数据存储。
  3. 架构和工作原理：
    Kyuubi 架构上包含客户端、Kyuubi 服务器和 Spark 集群。客户端通过 JDBC 或 ODBC 驱动连接到 Kyuubi 服务器，然后 Kyuubi 将查询分发到底层的 Spark 集群进行处理。
  4. 部署和配置：
    • Kyuubi 可以通过配置文件进行各种参数的设置，包括连接池、身份验证方式、Spark 应用程序的配置等。详细的配置信息可以参考 Kyuubi 的官方文档。
  5. 使用场景：
    • Kyuubi 适用于需要进行大数据分析的场景，尤其是需要支持多用户并发查询的环境。
    • 通过 SQL 查询接口，用户可以方便地从多种数据源中检索和分析数据。
  6. 社区和维护：
    • Kyuubi 是一个活跃的开源项目，有一个不断发展的社区。用户可以通过 GitHub 等渠道参与讨论、报告问题和提供贡献。

总体而言，Kyuubi 是一个强大的分布式 SQL 引擎，通过整合 Apache Spark 的计算能力，提供了高性能、多租户支持的 SQL 查询服务。在大数据分析领域，Kyuubi 提供了一种灵活、可扩展的解决方案。

在这里插入图片描述
官方文档：

  • https://kyuubi.apache.org/
  • https://kyuubi.readthedocs.io/en/v1.8.0/
  • https://github.com/apache/kyuubi

Kyuubi 软件跟 Livy 一样都是可以作为 Spark 代理网关，但是 livy 只支持 Spark2.x，如果对 Livy 感兴趣的小伙伴可以参考我以下几篇文章：

  • Spark开源REST服务——Apache Livy（Spark 客户端）
  • 【云原生】Apache Livy on k8s 讲解与实战操作

二、Spark Kyuubi 架构

Kyuubi 系统的基本技术架构如下图所示：
在这里插入图片描述

  • 图的中间部分是 Kyuubi 服务端的主要部分，它处理来自图像左边所示的客户端的连接和执行请求。在 Kyuubi 中，这些连接请求被维护为 Kyuubi Session，执行请求被维护为 Kyuubi Operation，并与相应的 session 进行绑定。

  • Kyuubi Session 的创建可以分为两种情况：轻量级和重量级。大多数 session 的创建都是轻量级的，用户无感知。唯一重量级的情况是在用户的共享域中没有实例化或缓存 SparkContext，这种情况通常发生在用户第一次连接或长时间没有连接的时候。这种一次性成本的 session 维护模式可以满足大部分的 ad-hoc 快速响应需求。

  • Kyuubi 以松耦合的方式维护与 SparkConext 的连接。这些 SparkContexts 可以是本服务实例在客户端部署模式下在本地创建的 Spark 程序，也可以是集群部署模式下在 Yarn 或 Kubernetes 集群中创建的。在高可用模式下，这些 SparkConext 也可以由其他机器上的 Kyuubi 实例创建，然后由这个实例共享。

  • 这些 SparkConext 实例本质上是由 Kyuubi 服务托管的远程查询执行引擎程序。这些程序在 Spark SQL 上实现，并对 SQL 语句进行端到端编译、优化和执行，以及与元数据（如 Hive Metastore）和存储（如 HDFS）服务进行必要的交互，最大限度地发挥 Spark SQL 的威力。它们可以自行管理自己的生命周期，自行缓存和回收，并且不受 Kyuubi 服务器上故障转移的影响。

三、Hadoop 基础环境安装

可以选择物理部署，如果只是测试的话，也可以选择容器部署，这里为了快速测试就选择容器部署了。物理部署和容器部署教程如下：

  • 大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
  • 大数据Hadoop之——数据仓库Hive
  • 大数据Hadoop之——计算引擎Spark
  • 通过 docker-compose 快速部署 Hive 详细教程

1）hadoop 下载部署包

# 下载部署包
git clone https://gitee.com/hadoop-bigdata/docker-compose-hadoop.git

2）创建网络

docker network create hadoop-network

3）部署MySQL

cd docker-compose-hadoop/mysql
docker-compose -f mysql-compose.yaml up -d
docker-compose -f mysql-compose.yaml ps
#root 密码：123456，以下是登录命令，注意一般在公司不能直接在命令行明文输入密码，要不然容易被安全抓，切记，切记！！！
docker exec -it mysql mysql -uroot -p123456

4）部署 Hadoop Hive

# 部署 Hadoop Hive
cd docker-compose-hadoop/hadoop_hive
docker-compose -f docker-compose.yaml up -d
# 查看
docker-compose -f docker-compose.yaml ps
# hive
docker exec -it hive-hiveserver2 hive -e "show databases";
# hiveserver2
docker exec -it hive-hiveserver2 beeline -u jdbc:hive2://hive-hiveserver2:10000  -n hadoop -e "show databases;"

四、Spark Kyuubi 安装

1）下载 Kyuubi

wget https://dlcdn.apache.org/kyuubi/kyuubi-1.8.0/apache-kyuubi-1.8.0-bin.tgz --no-check-certificatetar zxf apache-kyuubi-1.8.0-bin.tgz

2）下载 Spark3

关于Spark的介绍，可以参考我之前的文章：大数据Hadoop之——计算引擎Spark

 wget https://archive.apache.org/dist/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz --no-check-certificatetar -xf spark-3.3.2-bin-hadoop3.tgz

修改配置文件：


# 进入spark配置目录
cd spark-3.3.2-bin-hadoop3/conf
# copy 一个模板配置
cp spark-env.sh.template spark-env.sh

在spark-env.sh下加入如下配置

# Hadoop 的配置文件目录
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# YARN 的配置文件目录
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# SPARK 的目录
export SPARK_HOME=/opt/apache/spark-3.3.2-bin-hadoop3
# SPARK 执行文件目录
export PATH=$SPARK_HOME/bin:$PATH

在/etc/profile文件中追加如下内容：

export SPARK_HOME=/opt/apache/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$PATH

测试：

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1G \
--num-executors 3 \
--executor-memory 1G \
--executor-cores 1 \/opt/apache/spark-3.3.2-bin-hadoop3/examples/jars/spark-examples_2.12-3.3.2.jar 100

在这里插入图片描述

2）配置 Kyuubi （Spark3）

cp conf/kyuubi-env.sh.template conf/kyuubi-env.sh
echo 'export JAVA_HOME=/opt/apache/jdk1.8.0_212' >> conf/kyuubi-env.sh
echo 'export SPARK_HOME=/opt/apache/spark-3.3.2-bin-hadoop3' >> conf/kyuubi-env.shcp conf/kyuubi-defaults.conf.template conf/kyuubi-defaults.conf
# 将kyuubi地址设置为localhost,如果不打开该注释，那么使用localhost是无法连接的，需要填写主机的ip地址
vi conf/kyuubi-defaults.conf
kyuubi.frontend.bind.host   localhost

3）启动 Kyuubi

bin/kyuubi start

在这里插入图片描述

4）测试使用

使用kyuubi自带的beeline客户端工具

bin/beeline -u 'jdbc:hive2://localhost:10009/' -n hadoop

在这里插入图片描述
Apache Kyuubi 不仅仅支持 Spark3 代理也支持 Presto、Flink 等组件的代理。
在这里插入图片描述
在这里插入图片描述

五、Apache Kyuubi HA 部署

目前Kyuubi支持负载均衡，使整个系统高可用。负载均衡旨在优化所有 Kyuubi 服务单元的使用，最大化吞吐量，最小化响应时间，并避免单个单元过载。使用具有负载平衡功能的多个 Kyuubi 服务单元而不是单个单元可以通过冗余来提高可靠性和可用性。

Kyuubi 通过使用Apache ZooKeeper来利用组中的冗余服务实例，在一个或多个组件发生故障时提供连续服务。
在这里插入图片描述

1）部署 Zookeeper

关于 Zookeeper 的介绍与部署可以参考我以下几篇文章：

  • 分布式开源协调服务——Zookeeper
  • 【云原生】zookeeper + kafka on k8s 环境部署
  • 【中间件】通过 docker-compose 快速部署 Zookeeper 保姆级教程

这里为了快速测试就选择docker-compose部署Zookeeper了。

3）Kyuubi HA 配置

vim /opt/kyuubi/conf/kyuubi-defaults.confkyuubi.ha.addresses 192.168.182.110:31181,192.168.182.110:32181,192.168.182.110:33181
kyuubi.ha.namespace kyuubi

4）启动服务

bin/kyuubi restart

5）测试

bin/beeline -u 'jdbc:hive2://192.168.182.110:31181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi' -n hadoop

在这里插入图片描述

Apache Kyuubi 讲解与实战操作就先到这里了，更多API接口介绍与使用可以参考官方文档：https://kyuubi.readthedocs.io/en/master/client/index.html；有任何疑问也可关注我公众号：大数据与云原生技术分享，进行技术交流，如本篇文章对您有所帮助，麻烦帮忙一键三连（点赞、转发、收藏）~

这篇关于Apache Kyuubi 讲解与实战操作的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/518822。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
滚雪球学Java(87)：Java事务处理：JDBC的ACID属性与实战技巧！真有两下子！

滚雪球学Java(87)：Java事务处理：JDBC的ACID属性与实战技巧！真有两下子！

咦咦咦，各位小可爱，我是你们的好伙伴——bug菌，今天又来给大家普及Java SE啦，别躲起来啊，听我讲干货还不快点赞，赞多了我就有动力讲得更嗨啦！所以呀，养成先点赞后阅读的好习惯，别被干货淹没了哦~ 🏆本文收录于「滚雪球学Java」专栏，专业攻坚指数级提升，助你一臂之力，带你早日登顶🚀，欢迎大家关注&&收藏！持续更新中，up！up！up！！ 环境说明：Windows 10
阅读更多...
计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能
阅读更多...
动手学深度学习【数据操作+数据预处理】

动手学深度学习【数据操作+数据预处理】

import osos.makedirs(os.path.join('.', 'data'), exist_ok=True)data_file = os.path.join('.', 'data', 'house_tiny.csv')with open(data_file, 'w') as f:f.write('NumRooms,Alley,Price\n') # 列名f.write('NA
阅读更多...
线程的四种操作

线程的四种操作

所属专栏：Java学习        1. 线程的开启 start和run的区别： run：描述了线程要执行的任务，也可以称为线程的入口 start：调用系统函数，真正的在系统内核中创建线程（创建PCB，加入到链表中），此处的start会根据不同的系统，分别调用不同的api，创建好之后的线程，再单独去执行run（所以说，start的本质是调用系统api，系统的api
阅读更多...
springboot实战学习（1）(开发模式与环境)

springboot实战学习（1）(开发模式与环境)

目录 一、实战学习的引言 （1）前后端的大致学习模块 （2）后端 （3）前端 二、开发模式 一、实战学习的引言 （1）前后端的大致学习模块 （2）后端 Validation：做参数校验Mybatis：做数据库的操作Redis：做缓存Junit：单元测试项目部署：springboot项目部署相关的知识 （3）前端 Vite：Vue项目的脚手架Router：路由Pina：状态管理Eleme
阅读更多...
Java IO 操作——个人理解

Java IO 操作——个人理解

之前一直Java的IO操作一知半解。今天看到一个便文章觉得很有道理（ 原文章），记录一下。 首先，理解Java的IO操作到底操作的什么内容，过程又是怎么样子。          数据来源的操作： 来源有文件，网络数据。使用File类和Sockets等。这里操作的是数据本身，1,0结构。    File file = new File("path");   字
阅读更多...
MySQL——表操作

MySQL——表操作

目录 一、创建表 二、查看表 2.1 查看表中某成员的数据 2.2 查看整个表中的表成员 2.3 查看创建表时的句柄 三、修改表 alter 3.1 重命名 rename 3.2 新增一列 add 3.3 更改列属性 modify 3.4 更改列名称 change 3.5 删除某列 上一篇博客介绍了库的操作，接下来来看一下表的相关操作。 一、创建表 create
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2