K8S部署Java项目（Gitlab CI/CD自动化部署终极版）

2024-02-27 16:36
文章标签 java 云原生 部署 项目 自动化 k8s ci cd gitlab 终极版

本文主要是介绍K8S部署Java项目（Gitlab CI/CD自动化部署终极版），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

天行健，君子以自强不息；地势坤，君子以厚德载物。

每个人都有惰性，但不断学习是好好生活的根本，共勉！

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。

文章目录

  • 一、平台搭建
    • 1. `K8S`搭建
    • 2. `Gitlab`代码仓库部署
    • 3. `Gitlab Runner`执行工具部署
    • 4. `Harbor`镜像仓库部署
      • 4.1 部署Harbor
      • 4.2 创建仓库项目
  • 二、`Java Springboot`项目上传到Gitlab
    • 1. 项目demo获取
    • 2. pom配置
    • 3. Dokcerfile和.gitlab-ci.yml配置
    • 4. Dokcerfile和.gitlab-ci.yml拓展信息
      • 4.1 Dockerfile文件配置
      • 4.2 .gitlab-ci.yml文件配置
    • 5. 上传项目到Gitlab
  • 三、CI功能打包、构建镜像
    • 1. 流程介绍
    • 2. 打包阶段
    • 3. 构建镜像阶段
    • 4. Harbor查看镜像
  • 四、部署镜像（项目）
    • 1. yaml文件配置
    • 2. 将文件上传到服务器
    • 3. 创建命名空间
    • 4. 部署yaml文件
      • 4.1 部署pvc
      • 4.2 部署deploy
      • 4.3 部署svc
    • 5. 查看服务
      • 5.1 查看pvc
      • 5.2 查看deploy
      • 5.3 查看svc
      • 5.4 查看pod
      • 5.5 查看logs
      • 5.6 查看describe
  • 五、访问验证
    • 1. 服务所在节点IP
    • 2. deploy配置的端口
    • 3. Java项目接口URL
    • 4. 完整访问URL
    • 5. 访问服务接口
      • 5.1 curl访问
      • 5.2 浏览器访问
  • 六、拓展（尚未成功，继续研究，仅供参考）
    • 1. 配置Ingress
    • 2. 访问服务
  • 七、报错汇总
    • 1. pod启动失败的查看命令
    • 2. 报错内容汇总

一、平台搭建

在K8S集群中，配合Gitlab、Harbor实现自动化部署Java springboot服务
首先需要搭建K8S集群、Gitlab及Gitlab Runner、Harbor，如已部署或有相同平台可忽略

1. K8S搭建

首先你要有一个K8S集群，如已搭建可跳过，没有可以参考链接搭建
K8S搭建（centos）完整版
k8s搭建（ubuntu）详细演示完整一篇

2. Gitlab代码仓库部署

用于管理项目代码和使用CI自动化工具
如已有可用环境可忽略，如无可参考安装使用
K8S部署GitLab（详细完整版）

3. Gitlab Runner执行工具部署

用于执行自动化脚本实现自动化打包、构建镜像等操作
如已有可用环境可忽略，如无可参考安装使用
gitlab runner 安装、注册、配置、使用（Docker部署）

4. Harbor镜像仓库部署

4.1 部署Harbor

用于存储自动化构建的镜像，后续部署服务会从仓库拉取
如已有可用环境可忽略，如无可参考安装使用
K8S部署Harbor镜像仓库（含离线安装包harbor-offline-installer国内下载链接）
K8S部署Harbor（三部曲之一：配置）
K8S部署Harbor（三部曲之二：部署）
K8S部署Harbor（三部曲之三：使用）

4.2 创建仓库项目

创建harbor镜像仓库项目用于存放推送的项目镜像，项目名为k8s-demo
在这里插入图片描述

二、Java Springboot项目上传到Gitlab

需要提前准备好Java项目，并上传到Gitlab代码仓库

1. 项目demo获取

如果没有现成的springboot项目可以从下面链接获取
下载：Java项目-基于Gitlab CI/CD功能实现自动化部署（在k8s中部署）
其中主要包含了如下文件：

  • 一个简单的请求接口用于后续验证部署是否成功
  • 构建镜像用的Dockerfile配置文件，构建项目镜像使用的文件
  • Gitlab的.gitlab-ci.yml配置文件，该文件用于执行自动化部署脚本等操作
  • 后续部署需要用到的yaml文件sb-pvc.yaml、sb-dplm.yaml、sb-svc.yaml、以及配置域名的sb-igs.yaml
  • 一些Java项目相关的文件

项目截图：
在这里插入图片描述

2. pom配置

需要在pom中添加maven插件依赖、maven插件并定义jar包名称（需要与springboot版本保持一致）

    <dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>2.6.3</version></dependency></dependencies><build><!--配置后最终生成的jar包名称就是该元素中的名称指定package打包后生成的jar包文件名称为app.jar，package打包后会在target文件夹中看到app.jar文件--><finalName>app</finalName><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><version>2.6.3</version><executions><execution><goals><goal>repackage</goal></goals></execution></executions></plugin></plugins></build>

3. Dokcerfile和.gitlab-ci.yml配置

可根据Java项目情况参考文章配置这两个文件的内容
我是用的两个文件的模板连接如下：
三个都一样，推荐使用第一个
Dockerfile和.gitlab-ci.yml文件模板（标准版）
Dockerfile和.gitlab-ci.yml文件模板（精简无注释）
Dockerfile和.gitlab-ci.yml文件模板（含详细注释）

4. Dokcerfile和.gitlab-ci.yml拓展信息

下面是拓展介绍，可忽略

4.1 Dockerfile文件配置

Dockerfile文件配置参考：Dockerfile文件参数配置和使用

4.2 .gitlab-ci.yml文件配置

.gitlab-ci.yml文件配置参考：.gitlab-ci.yml文件参数配置和使用
.gitlab-ci.yml文件参数汇总及解释参考：.gitlab-ci.yml文件参数

5. 上传项目到Gitlab

配置文件配置好之后就可以将项目上传到Gitlab代码仓库中了
可参考下方链接文章，虽然是gitee但与gitlab相似
通过GIT将本地项目上传到gitee
当然前面搭建Gitlab的文章中也有介绍如何上传本地项目到Gitlab

三、CI功能打包、构建镜像

在上面我们将代码上传到Gitlab上以后即可触发CI/CD流程

1. 流程介绍

Gitlab检测到.gitlab-ci.yml文件会调用Gitlab Runner执行该文件中的脚本，进行流程化作业部署
执行过程会根据yml文件中的阶段进行，流程如下：

  • 打包
  • 构建镜像
  • 将镜像推送到镜像仓库
  • 在主节点服务器中执行kubectl命令（即部署yaml文件）部署项目
  • 后续更新镜像，yaml文件会根据镜像地址拉取新的镜像，实现服务自动部署

提交即部署，体验还不错

接下来是在gitlab中自动执行的操作

2. 打包阶段

job1_package执行过程
准备docker执行器—准备环境—仓库资源拉取—执行job的脚本—开始jar打包—下载依赖—打包完成
在这里插入图片描述
此处省略下载过程（略长）。。。。。。
在这里插入图片描述
job中的脚本执行完毕后会输出Job succeed表示这个job已经执行结束

3. 构建镜像阶段

job2_build执行过程
构建镜像阶段：先用docker命令登录harbor仓库–通过Dockerfile文件构建镜像放到本地—推送到harbor镜像仓库—删除本地镜像
在这里插入图片描述
在这里插入图片描述

构建镜像阶段任务完成
表示构建镜像并推送成功

4. Harbor查看镜像

此时可以到harbor镜像仓库中查看是否成功上传，可以看到已经存在
在这里插入图片描述
到此表示gitlabCI任务的打包、构建镜像两个阶段结束
以上两个阶段为gitalb自动化执行的文件脚本，接下来看需要部署yaml文件，但部署yaml只需要一次，后续更新镜像后会自动部署

四、部署镜像（项目）

根据Java项目情况配置三个yaml文件，其中deploy的yaml文件中镜像的拉取地址为上面自动化构建后推送的镜像仓库地址

1. yaml文件配置

可参考文章配置三个yaml文件用于部署Java项目：K8S部署Java项目的yaml配置文件模板

2. 将文件上传到服务器

需要将yaml文件上传到集群中的节点服务器中，我这里是可执行kubectl命令的主节点k8s-master
放到自己创建的文件夹springboot-yaml中
在这里插入图片描述

3. 创建命名空间

在主节点k8s-master中执行kubectl命令
创建命名空间用于管理部署的服务

kubectl create namespace ns-sb

在这里插入图片描述
查看所有命名空间

kubectl get namespace -A

在这里插入图片描述

4. 部署yaml文件

依次部署pvc文件、deploy文件、svc文件

4.1 部署pvc

kubectl apply -f springboot-yaml/sb-pvc.yaml

在这里插入图片描述

4.2 部署deploy

kubectl apply -f springboot-yaml/sb-dplm.yaml

在这里插入图片描述

4.3 部署svc

kubectl apply -f springboot-yaml/sb-svc.yaml

在这里插入图片描述

5. 查看服务

以下查看命令都可尝试在最后加上-o wide参数来查看更为详细的信息
注：由于部署过程中出现了很多问题，所以会删除部署的服务重新部署，截图中有些服务名称变了，请忽略该细节，最终的结果是成功的。然后遇到的问题也都总结在最后一章了，如遇到类似可供参考

5.1 查看pvc

kubectl get pvc -n ns-sb

刚开始时Pending
在这里插入图片描述
绑定后是Bound
在这里插入图片描述

5.2 查看deploy

kubectl get deployment -n ns-sb

在这里插入图片描述

5.3 查看svc

kubectl get svc -n ns-sb

在这里插入图片描述

5.4 查看pod

kubectl get pod -n ns-sb

在这里插入图片描述
还可以加-o wide参数来查看pod所在节点以及集群ip

kubectl get pod -n ns-sb -o wide

在这里插入图片描述

5.5 查看logs

查看pod的logs日志

kubectl logs sb-dplm-898c9564-v8nq7 -n ns-sb

在这里插入图片描述

5.6 查看describe

查看pod的describe描述

kubectl describe pod sb-dplm-898c9564-v8nq7 -n ns-sb

在这里插入图片描述

五、访问验证

部署完成后，进行访问（如果从节点未配置kubectl命令执行权限则需要再主节点进行操作）
IP+端口+接口请求

1. 服务所在节点IP

需要先确定我们部署的项目pod所在的服务器是哪个（可使用第四章3.5.4小节查看pod的第二个命令进行查看）
如查看我的pod所在位置为k8s-worker2节点，该节点的iP为173.33.0.222

2. deploy配置的端口

我们在部署的deploy配置文件中配置的端口参数即nodePort值为30089

3. Java项目接口URL

最后是我们Java项目的接口请求url为test/java

4. 完整访问URL

所以我们访问的url为

173.33.0.222:30089/test/java

5. 访问服务接口

5.1 curl访问

可在命令窗口通过curl执行get请求（接口注解为@GetMapping）

curl 173.33.0.222:30089/test/java

如图输出我们返回的内容就表示服务可正常访问，表示springboot在k8s中部署成功
在这里插入图片描述

5.2 浏览器访问

也可通过浏览器访问

173.33.0.222:30089/test/java

输出返回内容表示服务正常，部署成功
在这里插入图片描述

六、拓展（尚未成功，继续研究，仅供参考）

通常只有开发测试环境才会使用nodePort方式访问，生产环境需要使用更为安全的访问方法（LoadBalncer或者配置ingress）
我们配置ingress使用自己定义的域名进行访问

1. 配置Ingress

和sb-pvc.yaml、sb-dplm.yaml、sb-svc.yaml放在同一位置，我们可以直接使用vim命令创建并编辑Ingress文件

vim springboot-yaml/sb-igs.yaml

依旧可参考K8S部署Java项目的yaml配置文件模板中的ingress配置文件进行编辑，保存后部署
在这里插入图片描述

2. 访问服务

部署后可使用定义的域名进行访问

hs.sb.com/test/java

七、报错汇总

1. pod启动失败的查看命令

如果pod启动状态有问题，可执行以下两个命令进行检查
查看pod描述信息

kubectl describe pod podname -n namespacename

如

kubectl describe pod sb-dplm-898c9564-qm425 -n ns-sb

查看pod日志信息

kubectl logs podname -n namespacename

如

kubectl logs sb-dplm-898c9564-qm425 -n ns-sb

2. 报错内容汇总

以下为整个过程中遇到的问题以及解决方法，供大家参考，希望有所帮助

  • /usr/bin/bash: line 136: docker:command not found
    Gitlab CI/CD docker命令报错：/usr/bin/bash: line 136: docker:command not found
  • ERROR: Cannot connect to the Docker daemon at tcp://docker:2375. Is the docker running?
    Gitlab CI/CD ERROR: Cannot connect to the Docker daemon at tcp://docker:2375. Is the docker running?
  • error during connect: Post http://docker:2375/v1.40xxxxxx: dial tcp: lookup docker o
    Gitlab CI/CD报错： error during connect: Post http://docker:2375/v1.40xxxxxx: dial tcp: lookup docker o
  • ERROR: error during connect : Get “http://docker:2375/_ping“: dial tcp:lookup docker on 10
    Gitlab CI ERROR: error during connect : Get “http://docker:2375/_ping“: dial tcp:lookup docker on 10
  • /usr/bin/bash: line 137: kubectl: command not found
    Gitlab CI 报错： /usr/bin/bash: line 137: kubectl: command not found
  • Error: Unable to access jarfile app.jar
    K8S部署Java项目 pod的logs报错为：Error: Unable to access jarfile app.jar
  • Error: A JNI error has occurred, please check your installation and try again
    Error: A JNI error has occurred, please check your installation and try again
  • CrashLoopBackOff
    K8S部署Java项目（Springboot项目）pod状态：CrashLoopBackOff
  • cannot access org.springframework.context.ConfigurableApplicationContext bad class file: /root/.m2/r
    cannot access org.springframework.context.ConfigurableApplicationContext bad class file: /root/.m2/r
  • no main manifest attribute, in app.jar
    no main manifest attribute, in app.jar
  • no main manifest attribute, in app.jar备用方案，请现尝试上一个再用这个
    K8S部署Java项目 pod报错 logs日志内容：no main manifest attribute, in app.jar

感谢阅读，祝君暴富！

这篇关于K8S部署Java项目（Gitlab CI/CD自动化部署终极版）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/753006。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
这15个Vue指令，让你的项目开发爽到爆

这15个Vue指令，让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件，按住 Control 和回车键再显示它吗？小菜一碟： <template
阅读更多...
Java进阶13讲__第12讲_1/2

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2