信也持续构建集群容器化改造之路

2024-09-05 19:28

本文主要是介绍信也持续构建集群容器化改造之路,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 前言

随着应用构建需求增加以及新构建场景引入,公司对构建系统的扩展性、稳定性要求日益提高。多语言构建(如Golang、Java、Python、Node.js 等)所依赖的环境,部署在同一台物理机上时,使构建机环境维护困难;并且多应用同时在一台机器上构建会相互影响;在传统的构建机主从模式下,单一的Master 构建节点会成为系统单点故障源,导致整个构建集群不可用。

通过行业方案调研,决定对构建节点进行容器化改造,实现构建任务隔离的同时,提升构建集群伸缩性。并且对构建集群进行去中心化架构改造,摆脱了对单Master构建节点依赖,使所有构建节点能独立完成构建任务,极大提高构建集群容灾能力。

2. 背景

2.1 现有问题

  1. 单点故障:Jenkins Master节点宕机会导致整个构建系统不可用。
  2. 性能瓶颈:Jenkins Master节点负责所有任务调度,负载过高时导致性能瓶颈。
  3. 构建配置复杂:单slave节点需要同时兼顾多种语言类型站点构建,导致机器配置复杂,维护成本高。
  4. 迁移难度大:物理机过保时,需要重新搭建构建节点,导致成本高且容易出现问题。
  5. 软件版本不一致:不同slave节点可能运行在不同操作系统上,需要确保系统版本、JDK、Maven、Python等构建环境版本一致,维护成本高。

3. 改造过程

改造过程主要包括以下步骤:

  1. 构建节点由master调度构建改造成能独立构建的容器节点
  2. 构建架构从Jenkins master调度改造成aladdin平台调度
  3. jenkins构建产物信息安全脱敏改造
  4. 灰度切换集群调度架构,平稳迁移构建节点

3.1 构建节点独立化、容器化改造

原有主从架构中,Jenkins Master节点负责完成构建任务配置,包括:插件,账号,环境变量等。实现可单独完成构建任务的节点,最快捷稳妥的方式是将Jenkins Master完整复制出来,放入容器中当作构建节点使用。

如何复制?

将现有Jenkins Master的JENKINS_HOME指向的安装目录完整复制放入容器中,在启动jenkins时指定JENKINS_HOME为该文件夹,打包镜像dockerfile如下:

FROM XXXXXXX/aladdin/base_os/centos8:v1.0

ENV LANG=en_US.UTF-8

# 复制 jenkins完整的安装目录到基准镜像中

COPY jenkins.war /

COPY jenkins /jenkins

# 复制jdk

COPY jdk-21.0.2 /usr/local/jdk-21.0.2

# 配置jdk环境变量

ENV JAVA_HOME /usr/local/jdk-21.0.2

ENV JRE_HOME=$JAVA_HOME/jre

ENV PATH=$JAVA_HOME/bin:$PATH:$JRE_HOME/bin

ENV CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

# 启动jenkins时指定JENKINS_HOME/jenkinsjenkins启动后访问可发现和原jenkins master配置一致,无需重复配置

ENTRYPOINT java -Dhudson.security.csrf.GlobalCrumbIssuerConfiguration.DISABLE_CSRF_PROTECTION=true -DJENKINS_HOME=/jenkins -jar /jenkins.war --httpPort=80

3.2 调度架构改造

完成jenkins构建节点容器化后,构建容器节点可独立完成构建任务,aladdin平台负责调度构建节点。aladdin持续集成平台本身就是集群部署的,有良好的容灾能力,完美解决原有构建集群单节点故障问题。

 

3.3 信息安全改造

jenkins在构建时会将项目源码下载到构建机上进行编译打包,项目源码和打包产物可直接在jenkins上查看、下载,且jenkins经常会报出各种漏洞,带来极大安全隐患。 基于上述安全问题,我们需要对jenkins进行访问限制。用户构建项目时需要查看构建日志和单测日志页面,所以,除这两个页面外,通过将jenkins端口办公网络访问权限回收,nginx代理的方式,将jenkins其他页面隐藏。只展示构建日志和单侧日志页面,实现限制直接查看项目源代码和产物,同时避免jenkins漏洞带来的安全隐患。

3.4 平稳迁移构建节点

为了平稳的完成构建集群的灰度切换,因此采用四步走策略:

  1. 实现影响较小的单元测试节点进行容器化
  2. 实现低风险业务线构建节点容器化
  3. 实现主营业务线站点构建容器化
  4. 实现其他站点构建容器化

 

4. 遇到的问题

4.1 docker中怎么调用 docker build打包镜像

原构建节点是在虚拟机上通过调用docker build命令完成站点镜像构建。构建节点容器化之后,如何在容器中调用docker build命令完成构建? 最开始尝试在容器中安装docker命令,但是失败了,会遇到各种奇怪的报错;后来想到可以调用远程docker构建机完成镜像的构建。 我们需要安装jenkins插件docker-plugin,配置好远程docker构建机,即可调用远程构建机构建镜像了,配置如下:

注意: 调用远程docker构建机时,默认会将dockerfile文件所在目录中的文件传送到远程构建机上,需要控制传输文件目录的大小

4.2 容器化后,磁盘占用翻倍

构建节点容器化之后,上线一段时间,服务器突然磁盘容量告警了! 平台有定时job会清理构建任务,只保留3天的构建量数据,而且构建量也没有明显增加,磁盘怎么突然不够了呢,经过检查发现,/var/lib/docker/overlay2 目录占用了大量的磁盘空间,这显然是docker引起的。

经过排查,是启动容器时,容器内jenkins workspace目录未挂载到宿主机上导致的。

docker 中有两个重要的文件夹:

  • diff 文件夹: diff文件夹包含了Docker镜像的变更内容。当对容器进行修改或添加文件时,这些变更会被记录在 diff 文件夹中。用于存储与基础镜像的差异。
  • merged 文件夹: merged 文件夹由基础镜像和 diff 文件夹合并而成的。在容器中对文件进行修改或添加新文件,这些修改将存储在 merged 文件夹中。

未配置容器内jenkins workspace目录挂载到宿主机上,导致容器内有大量写的操作发生,从而产生更多的diff和merged文件,占用了大量磁盘空间。

# 原则上如果容器内服务有写文件的行为,应该将文件目录挂载到宿主机上,而不是直接往容器里写。
# 启动容器时,挂载jenkins workspace目录到宿主机上
docker run -itd --name build_jdk8_01 -p 4010:80 -v /jenkins/workspace:/jenkins/workspace jenkins_server/build_jdk8:v1.6

构建节点改造完成

  1. 构建环境隔离:构建节点容器化后,每个构建任务都在单独构建服务上构建,互不影响,显著提高构建成功率,构建成功率保持97%左右。
  2. 容灾能力增强:从单一主节点架构转变为多主节点架构,每个构建节点独立执行任务,大大提高容灾能力。
  3. 环境一致性保障:通过构建节点容器化确保构建环境的一致性,减少环境配置问题,提升构建稳定性。
  4. 构建节点快速搭建:容器化使节点搭建和迁移变得便捷。
  5. 节省资源:无需Master节点来调度和管理任务,降低系统复杂度的同时节省物理机资源。

 

未来规划

  1. 探索新的构建工具和技术,提升构建效率和构建质量。
  2. 接入新的构建方式,支持模块化部署。

这篇关于信也持续构建集群容器化改造之路的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1139845

相关文章

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

如何将Tomcat容器替换为Jetty容器

《如何将Tomcat容器替换为Jetty容器》:本文主要介绍如何将Tomcat容器替换为Jetty容器问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Tomcat容器替换为Jetty容器修改Maven依赖配置文件调整(可选)重新构建和运行总结Tomcat容器替

C++从序列容器中删除元素的四种方法

《C++从序列容器中删除元素的四种方法》删除元素的方法在序列容器和关联容器之间是非常不同的,在序列容器中,vector和string是最常用的,但这里也会介绍deque和list以供全面了解,尽管在一... 目录一、简介二、移除给定位置的元素三、移除与某个值相等的元素3.1、序列容器vector、deque

C++常见容器获取头元素的方法大全

《C++常见容器获取头元素的方法大全》在C++编程中,容器是存储和管理数据集合的重要工具,不同的容器提供了不同的接口来访问和操作其中的元素,获取容器的头元素(即第一个元素)是常见的操作之一,本文将详细... 目录一、std::vector二、std::list三、std::deque四、std::forwa

使用Python和python-pptx构建Markdown到PowerPoint转换器

《使用Python和python-pptx构建Markdown到PowerPoint转换器》在这篇博客中,我们将深入分析一个使用Python开发的应用程序,该程序可以将Markdown文件转换为Pow... 目录引言应用概述代码结构与分析1. 类定义与初始化2. 事件处理3. Markdown 处理4. 转

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

Python容器类型之列表/字典/元组/集合方式

《Python容器类型之列表/字典/元组/集合方式》:本文主要介绍Python容器类型之列表/字典/元组/集合方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 列表(List) - 有序可变序列1.1 基本特性1.2 核心操作1.3 应用场景2. 字典(D

Java使用Mail构建邮件功能的完整指南

《Java使用Mail构建邮件功能的完整指南》JavaMailAPI是一个功能强大的工具,它可以帮助开发者轻松实现邮件的发送与接收功能,本文将介绍如何使用JavaMail发送和接收邮件,希望对大家有所... 目录1、简述2、主要特点3、发送样例3.1 发送纯文本邮件3.2 发送 html 邮件3.3 发送带

Python结合Flask框架构建一个简易的远程控制系统

《Python结合Flask框架构建一个简易的远程控制系统》这篇文章主要为大家详细介绍了如何使用Python与Flask框架构建一个简易的远程控制系统,能够远程执行操作命令(如关机、重启、锁屏等),还... 目录1.概述2.功能使用系统命令执行实时屏幕监控3. BUG修复过程1. Authorization