开源工具专题-01 Superset的CICD流程构建

2024-03-20 05:44
文章标签 工具 流程 构建 开源 01 专题 cicd superset

本文主要是介绍开源工具专题-01 Superset的CICD流程构建，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

开源工具专题

注：

  • 本教程由羞涩梦整理同步发布，本人技术分享站点：blog.hukanfa.com

  • 转发本文请备注原文链接，本文内容整理日期：2024-01-28

  • csdn 博客名称：五维空间-影子，欢迎关注

  • 说明

    • 此搭建场景主要用于公司内部需要对superset进行二次开发来满足内部的使用需求
    • 需频繁提交代码并进行功能验证，效果图如下

    image-20240319172623875

1 代码拉取

  • 操作如下

    • superset 托管地址如下
    # github 外网拉取可能会超时
https://github.com/apache/superset
# gitee 码云国内
https://gitee.com/mirrors/Superset
# 克隆操作，http方式需输入gitee账号密码、ssh方式请在gitee上配置好机器公钥信息
git clone -b 3.1.1 https://gitee.com/mirrors/Superset.git
    • 提供本人对该项目做一些调整后的托管地址
    # gitee 调整的内容在本文后续章节会提到  源 3.1.1 分支
https://gitee.com/hukanfa/superset

2 修改 Dockerfile

  • 操作如下

    • 修改内容：去掉前端代码的编译环节，只编译后端代码、去掉生成dev环境的步骤
    FROM hukanfa/python:3.9-superset-v1.0 AS leanWORKDIR /app
ENV LANG=C.UTF-8 \LC_ALL=C.UTF-8 \SUPERSET_ENV=production \FLASK_APP="superset.app:create_app()" \PYTHONPATH="/app/pythonpath" \SUPERSET_HOME="/app/superset_home" \SUPERSET_LOG="superset.log" \SUPERSET_PORT=8088RUN mkdir -p ${PYTHONPATH} superset-frontend apache_superset.egg-info requirements \&& useradd --user-group -d ${SUPERSET_HOME} -m --no-log-init --shell /bin/bash superset \&& touch ${SUPERSET_HOME}/${SUPERSET_LOG} \&& chown -R superset:superset ./*COPY --chown=superset:superset setup.py MANIFEST.in README.md ./
COPY --chown=superset:superset ./requirements/*.txt ./requirements/
COPY --chown=superset:superset ./superset superset
COPY  ./docker/run-server.sh /usr/bin/
COPY --chown=superset:superset superset-frontend/package.json superset-frontend/
ADD superset_static_3_1_1.tar.gz /app/superset/RUN mkdir ~/.pip/ \&& echo '[global]' > ~/.pip/pip.conf \&& echo 'index-url = https://mirrors.aliyun.com/pypi/simple/' >> ~/.pip/pip.conf \&& echo 'trusted-host = mirrors.aliyun.com' >> ~/.pip/pip.conf \&& pip install --no-cache -r requirements/local.txt# COPY --chown=superset:superset --from=superset-node /app/superset/static/assets superset/static/assetsRUN pip install --no-cache -e . \&& flask fab babel-compile --target superset/translations \&& chown -R superset:superset superset/translations \&& chmod +x /usr/bin/run-server.shUSER supersetHEALTHCHECK CMD curl -f "http://localhost:${SUPERSET_PORT}/health"EXPOSE ${SUPERSET_PORT}######################################################################
# CI image...
######################################################################
FROM lean AS ciCOPY --chown=superset:superset  ./docker/*.sh /app/docker/
RUN chmod -R 755 /app/docker/*.shCMD ["/app/docker/docker-ci.sh"]
    • Dockerfile 文件中 superset_static_3_1_1.tar.gz 前端编译文件的获取方式如下
    # 拉取官方对应版本的镜像
docker pull apache/superset:3.1.1
# 运行镜像
docker run -d --name superset_temp apache/superset:3.1.1
# 进入镜像中将静态文件打包
$ docker exec -it 2b6d1d5f3006 /bin/bash
superset@2b6d1d5f3006:/app$ cd superset
superset@2b6d1d5f3006:/app/superset$ tar -zcvf superset_static_3_1_1.tar.gz ./static/
# 拷贝压缩包到宿主机保存
[hukanfa@hukanfa ~]$ docker cp 2b6d1d5f3006:/app/superset/superset_static_3_1_1.tar.gz ./
    • Dockerfile 文件中，python:3.9-superset-v1.0 基础镜像的 Dockerfile 文件如下
    ARG PY_VER=3.9-slim-bookworm
FROM python:${PY_VER}COPY ./debian.sources /RUN  cp -ar /etc/apt/sources.list.d/debian.sources /etc/apt/sources.list.d/debian.sources.bak \&& mv -f /debian.sources /etc/apt/sources.list.d/ \&& apt-get install apt-transport-https ca-certificates \&& apt-get update \&& apt-get install -y --no-install-recommends \build-essential \curl \default-libmysqlclient-dev \libsasl2-dev \libsasl2-modules-gssapi-mit \libpq-dev \libecpg-dev \libldap2-dev \sudo \inetutils-ping \  # 增加 ping 命令telnet \  # 增加 telnet 命令net-tools \  # 增加网络这块的查看命令&& rm -rf /var/lib/apt/lists/*
    • 对应的debian.sources 内容如下
    # 改成国内源
Types: deb
URIs: https://mirrors.huaweicloud.com/debian
Suites: bookworm bookworm-updates
Components: main
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpgTypes: deb
URIs: https://mirrors.huaweicloud.com/debian-security
Suites: bookworm-security
Components: main
Signed-By: /usr/share/keyrings/debian-archive-keyring.gpg

3 修改 config.py

  • 操作如下

    • 路径：superset/config.py
    • 修改内容如下，mysql 请事先准备好
    ### 注释superset自带的数据库配置
#SQLALCHEMY_DATABASE_URI = (
#    f"""sqlite:///{os.path.join(DATA_DIR, "superset.db")}?check_same_thread=false"""
#)### 打开mysql配置
SQLALCHEMY_DATABASE_URI = 'mysql://superset:jNaCDgHcJ6zQzy@192.168.26.21:3307/superset'### 修改默认语言为中文，并只保留中英文语言切换
BABEL_DEFAULT_LOCALE = "zh"
LANGUAGES = {"zh": {"flag": "cn", "name": "Chinese"},"en": {"flag": "us", "name": "English"},
}### 注释掉默认配置，直接指定key。如果不注释也可以docker-compose文件中指定成环境变量
# SECRET_KEY = os.environ.get("SUPERSET_SECRET_KEY") or CHANGE_ME_SECRET_KEY
SECRET_KEY = 'oCghysSLvk2BSa9bPEOz6avKzjLHYkedO6ztCZ/sv5j3pwuIg63wVLeY'
    • 提前创建好mysql的supertset数据库，项目运行起来后初始化操作会自行创建表
    create database if not exists superset character set utf8mb4 collate utf8mb4_bin;

4 修改 docker-ci.sh

  • 操作如下

    • 路径：docker/docker-ci.sh
    • 此部署脚本会先启动初始化脚本，主要是生成表及相关表的数据初始化。之后再执行服务运行脚本
    • 当第一次部署superset且初始化完成之后，需要将此脚本中的初始化步骤注释掉
    • 防止后续部署过程中每次都会执行初始化的操作，这样会将配置好的一些数据给删掉的
    ### 特别提示：一定要等第一次初始化完成后再注释掉，不要一开始就注释
# /app/docker/docker-init.sh

5 pipeline 脚本

  • 操作步骤

    • 配置在 jenkins 对应项目的 pipeline 脚本框中
    pipeline{agent anyoptions { timestamps() }stages{stage('初始化'){steps{script {wrap([$class: 'BuildUser']) {env.buildUserTmp="$BUILD_USER"currentBuild.description = "构建人:(${env.BUILD_USER})动作:(${env.action_choice})环境:(${env.env_choice})版本号:(${env.version})分支:(${env.branch})"}}}}stage('代码拉取'){steps{git branch: "${env.branch}", credentialsId: 'c5xxxx93-ad21-4cdd-9c03-dxxxxxx6e15', url: 'git@gitee.com:hukanfa/superset.git'}}stage('打包编译'){ steps{sh "/bin/bash /root/jenkins_shell/newBackend/${pname}/build.sh  ${env.env_choice} ${BUILD_NUMBER} ${pname} ${env.action_choice} ${env.version} ${env.branch} ${WORKSPACE}"}}stage('部署上线'){steps{sh "/bin/bash /root/jenkins_shell/newBackend/${pname}/deploy.sh ${env.env_choice} ${BUILD_NUMBER}  ${pname} ${env.version} ${env.action_choice}"}}}
}
    • 流程图如下所示

    image-20240319170416855

6 build.sh

  • 操作如下

    • 脚本内容
    #!/bin/bash
### 接收的传参
envType=$1
buildNumber=$2
pName=$3
actionType=$4
pVersion=$5
codeBranch=$6
workspace=$7### 变量定义区
# 注意，远程机需事先把前端文件传到对应的项目路径下
fontTar="/root/other_data/superset_static_3_1_1.tar.gz"
# 定义镜像名称
imageName="registry-vpc.cn-guangzhou.aliyuncs.com/hukanfa/${pName}:${buildNumber}"
# version对应的包名称，非0值表示需要回滚
if [ $pVersion -gt 0 -a $actionType == 'roolback' ];thenimageName="registry-vpc.cn-guangzhou.aliyuncs.com/hukanfa/${pName}:${pVersion}"
fi# 检查目录是否存在的函数，如果目录不存在则创建
checkDirExit(){if [ -d $1 ];thenecho "$1目录存在"else mkdir -p $1echo "$1 目录不存在，已创建"fi
}# 判断命令执行状态
function checkStatus(){if [ $? -ne 0 ];thenecho "执行异常退出，请核查"exit 1elseecho "执行成功"fi
}#判断是部署还是回滚操作
if [ $actionType == 'deploy' -a  $pVersion -eq 0 ];thencp -ar $fontTar ./checkStatusDOCKER_BUILDKIT=1 docker build -t $imageName .checkStatusdocker push $imageNamecheckStatus
elif [ $actionType == 'roolback' -a  $pVersion -gt 0 ];thenecho "本次将执行回滚操作，镜像版本为：$imageName"
elseecho "部署动作或部署版本值有误，请检查"exit 1
fi

7 deploy.sh

  • 操作如下

    • 脚本内容
    #!/bin/sh###【1】变量区
# 分支
envType=$1
# 构建ID
buildNumber=$2
# 项目名称
pName=$3
# 回滚版本号
pVersion=$4
# 部署动作类型
actionType=$5
# 定义镜像名称
imageName="registry-vpc.cn-guangzhou.aliyuncs.com/hukanfa/${pName}:${buildNumber}"
# version对应的包名称，非0值表示需要回滚
if [ $pVersion -gt 0 -a $actionType == 'roolback' ];thenimageName="registry-vpc.cn-guangzhou.aliyuncs.com/hukanfa/${pName}:${pVersion}"
fi# 部署的机器
targetHost=(192.168.26.22)
# 远程用户名称
remoteUser="hukanfa"
# 远程demo目录
remoteScriptsDir="newBackendItem/$pName"
# 项目远程运行目录
remoteItemDir="/data/${pName}"###【2】函数区
# 判断命令执行状态
function checkCmdStatus(){if [ $? -ne 0 ];thenecho "${1}执行异常退出，请核查"exit 1fi
}###【3】逻辑区
for i in ${targetHost[@]} ; do# 先执行检测脚本，判断对应的远程目录是否存在ssh -l $remoteUser $i "cd ~ && if [ -d "${remoteScriptsDir}" ];then echo "${remoteScriptsDir} 存在"; else mkdir -p ${remoteScriptsDir} && echo "${remoteScriptsDir} 不存在已创建"; fi"checkCmdStatus "远程目录检测"echo "开始调用远程脚本执行部署操作"# 执行远程脚本，传递本次构建的包名称ssh -l $remoteUser $i "/bin/bash ${remoteScriptsDir}/run.sh $pName $imageName $buildNumber $pVersion"
done

8 远程机脚本

  • 操作如下

    • 以下脚本或文件在远程机，路径：/home/hukanfa/newBackendItem/superset
    [hukanfa@hukanfa superset]$
docker-compose.yml  run.sh
    • run.sh
    #!/bin/bash# 接收传参
pName=$1
imageName=$2
buildNumber=$3
pVersion=$4# 项目远程运行目录
remoteItemDir="/data/${pName}"
scriptsDir="/home/hukanfa/newBackendItem/${pName}"
backupDir="/data/${pName}/bak"
cTime=`date +'%Y%m%d%H%M%S'`
dfile="docker-compose.yml"
# 前端压缩包文件名称
fronPack="superset_static_3_1_1.tar.gz"
# 定义服务运行端口,需和docker-compose.yml中映射的一致
srvPort=8088
# 定义服务状态,默认2  运行中 1  
srvStatus=2# 判断命令执行状态
function checkStatus(){if [ $? -ne 0 ];thenecho "执行异常退出，请核查"exit 1elseecho "执行成功"fi
}# 检查目录是否存在的函数，如果目录不存在则创建
checkDirExit(){if [ -d $1 ];thenecho "$1目录存在"else mkdir -p $1echo "$1 目录不存在，已创建"fi
}
checkDirExit "$backupDir"# 判断是否在运行，运行则先停掉，备份相关文件
pidNum=`docker ps -a | grep superset | wc -l`
if [ $pidNum -ge 1 ];thencd $remoteItemDirdocker-compose downcheckStatussleep 3mv -f  $dfile ${backupDir}/${dfile}.bak${cTime}checkStatuscp -ar ${scriptsDir}/${dfile} ./checkStatussed -i 's#ImagesName#'"${imageName}"'#g' ./${dfile}checkStatus# 启动docker-compose up -dcheckStatussleep 2
elif [ $pidNum -eq 0 ];thencd $remoteItemDirif [ -f $dfile ];thenmv -f $dfile ${backupDir}/${dfile}.bak${cTime}checkStatusficp -ar ${scriptsDir}/${dfile} ./checkStatussed -i 's#ImagesName#'"${imageName}"'#g' ./${dfile}checkStatus# 启动docker-compose up -dcheckStatussleep 2
fifor (( i=1 ; i<=30 ; i++ ));do# 检测启动状态srvTag=`docker ps | grep superset | awk -F"(" '{print $2}' | awk -F")" '{print $1}' | awk '{print $1}'`if [ "$srvTag" == "healthy" ];thensrvStatus=1breakelseecho "###################  状态检查中，请稍等 ####################"docker ps | grep supersetsleep 5fi
done# 检查循环结束返回检查结果
if [ $srvStatus -eq 1 ];thenecho "本次服务部署运行正常"exit 0
elseecho "状态检查超过150s，本次服务部署异常，请核查!"exit 1
fi
    • docker-compose.yml 模板文件
    version: '3'
services:superset:image: ImagesNamecontainer_name: supersethostname: supersetrestart: alwaysports:- 8088:8088environment:- TZ=Asia/Shanghai

这篇关于开源工具专题-01 Superset的CICD流程构建的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/828457。

相关文章

java图像识别工具类(ImageRecognitionUtils)使用实例详解

java图像识别工具类(ImageRecognitionUtils)使用实例详解

《java图像识别工具类(ImageRecognitionUtils)使用实例详解》：本文主要介绍如何在Java中使用OpenCV进行图像识别,包括图像加载、预处理、分类、人脸检测和特征提取等步骤... 目录前言1. 图像识别的背景与作用2. 设计目标3. 项目依赖4. 设计与实现 ImageRecogni
阅读更多...
使用MongoDB进行数据存储的操作流程

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB？MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB
阅读更多...
基于Python开发电脑定时关机工具

基于Python开发电脑定时关机工具

《基于Python开发电脑定时关机工具》这篇文章主要为大家详细介绍了如何基于Python开发一个电脑定时关机工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 简介2. 运行效果3. 相关源码1. 简介这个程序就像一个“忠实的管家”，帮你按时关掉电脑，而且全程不需要你多做
阅读更多...
基于C#实现PDF文件合并工具

基于C#实现PDF文件合并工具

《基于C#实现PDF文件合并工具》这篇文章主要为大家详细介绍了如何基于C#实现一个简单的PDF文件合并工具,文中的示例代码简洁易懂,有需要的小伙伴可以跟随小编一起学习一下... 界面主要用于发票PDF文件的合并。经常出差要报销的很有用。代码using System;using System.Col
阅读更多...
redis-cli命令行工具的使用小结

redis-cli命令行工具的使用小结

《redis-cli命令行工具的使用小结》redis-cli是Redis的命令行客户端,支持多种参数用于连接、操作和管理Redis数据库,本文给大家介绍redis-cli命令行工具的使用小结,感兴趣的... 目录基本连接参数基本连接方式连接远程服务器带密码连接操作与格式参数-r参数重复执行命令-i参数指定命
阅读更多...
Python实现NLP的完整流程介绍

Python实现NLP的完整流程介绍

《Python实现NLP的完整流程介绍》这篇文章主要为大家详细介绍了Python实现NLP的完整流程,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 编程安装和导入必要的库2. 文本数据准备3. 文本预处理3.1 小写化3.2 分词（Tokenizatio
阅读更多...
Python中构建终端应用界面利器Blessed模块的使用

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置：简单、快速、无障碍二、基本功能：从彩色文本到动态交互1. 显示基本内容2. 创建链
阅读更多...
Python pyinstaller实现图形化打包工具

Python pyinstaller实现图形化打包工具

《Pythonpyinstaller实现图形化打包工具》：本文主要介绍一个使用PythonPYQT5制作的关于pyinstaller打包工具,代替传统的cmd黑窗口模式打包页面,实现更快捷方便的... 目录1.简介2.运行效果3.相关源码1.简介一个使用python PYQT5制作的关于pyinstall
阅读更多...
Golang使用etcd构建分布式锁的示例分享

Golang使用etcd构建分布式锁的示例分享

《Golang使用etcd构建分布式锁的示例分享》在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统,分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要,它有助于维护一致性,防止竞... 目录引言环境准备新建Go项目实现加锁和解锁功能测试分布式锁重构实现失败重试总结引言我们将使用Go作
阅读更多...
SpringBoot使用minio进行文件管理的流程步骤

SpringBoot使用minio进行文件管理的流程步骤

《SpringBoot使用minio进行文件管理的流程步骤》MinIO是一个高性能的对象存储系统,兼容AmazonS3API,该软件设计用于处理非结构化数据,如图片、视频、日志文件以及备份数据等,本文... 目录一、拉取minio镜像二、创建配置文件和上传文件的目录三、启动容器四、浏览器登录 minio五、
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2