本文主要是介绍k8s上搭建devops环境，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
一、gitlab
1.安装gitlab
# 下载安装包
wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-15.9.1-ce.0.el7.x86_64.rpm
# 安装
rpm -i gitlab-ce-15.9.1-ce.0.el7.x86_64.rpm
# 编辑 vi /etc/gitlab/gitlab.rb 文件
# 修改 external_url 访问路径 http://192.168.50.76:28080/
# 其他配置修改如下
gitlab_rails['time_zone'] = 'Asia/Shanghai'
puma['worker_processes'] = 2
sidekiq['max_concurrency'] = 8
postgresql['shared_buffers'] = "128MB"
postgresql['max_worker_processes'] = 4
prometheus_monitoring['enable'] = false
# 更新配置并重启
gitlab-ctl reconfigure
gitlab-ctl restart
2.页面配置
# 查看默认密码
cat /etc/gitlab/initial_root_password
访问url http://192.168.50.76:28080/
root/TkT5HbRv/zkPl8mh1lFZMrDzlat9n3eVM7CYJQyHaNk=
# 登录后修改默认密码 > 右上角头像 > Perferences > Password
# 修改系统配置：点击左上角三横 > Admin
# Settings > General > Account and limit > 取消 Gravatar enabled > Save changes
# 关闭用户注册功能
# Settings > General > Sign-up restrictions > 取消 Sign-up enabled > Save changes
# 开启 webhook 外部访问
# Settings > Network > Outbound requests > Allow requests to the local network from web hooks and services 勾选
# 设置语言为中文（全局）
# Settings > Preferences > Localization > Default language > 选择简体中文 > Save changes
# 设置当前用户语言为中文
# 右上角用户头像 > Preferences > Localization > Language > 选择简体中文 > Save changes
3.配置Secret
# 创建 gitlab 默认用户名密码 secret
echo root > ./username
echo wolfcode > password
kubectl create secret generic git-user-pass --from-file=./username --from-file=./password -n kube-devops
4.为项目配置webhook
进入项目点击侧边栏设置 > Webhooks 进入配置即可
URL：在 jenkins 创建 pipeline 项目后
触发来源：
推送事件：表示收到新的推送代码就会触发
标签推送事件：新标签推送才会触发
评论：根据评论决定触发
合并请求事件：创建、更新或合并请求触发
添加成功后，可以在下方点击测试按钮查看 jenkins 是否成功触发构建操作
5.卸载
# 停止服务
gitlab-ctl stop
# 卸载 rpm 软件（注意安装的软件版本是 ce 还是 ee）
rpm -e gitlab-ce
# 查看进程
ps -ef|grep gitlab
# 干掉第一个 runsvdir -P /opt/gitlab/service log 进程
# 删除 gitlab 残余文件
find / -name *gitlab* | xargs rm -rf
find / -name gitlab | xargs rm -rf
二、harbor
0.安装docker-compose
注意docker跟docker-compose版本对应关系
我们这里docker是26.1.4
#下载
wget https://github.com/docker/compose/releases/download/v2.27.0/docker-compose-linux-x86_64
#移动到/usr/local/bin下
mv docker-compose-linux-x86_64 /usr/local/bin/docker-compose
#赋予执行权限
chmod +x /usr/local/bin/docker-compose
测试是否安装成功
docker-compose --version
1.安装harbor
# 下载 harbor 安装包
wget https://github.com/goharbor/harbor/releases/download/v2.5.0/harbor-offline-installer-v2.5.0.tgz
# 解压
tar -zxvf harbor-v2.5.0.tar.gz
#修改配置
cp harbor.yml.tmpl harbor.yml
vi harbor.yml
执行 sh install.sh 就行
查看是否启动成功
docker-compose ls
docker ps -a | grep harbor
访问url: 192.168.50.76:8858 admin/wolfcode
2.配置Secret
# 创建 harbor 访问账号密码（需要将下访问的配置信息改成你自己的）
kubectl create secret docker-registry harbor-secret --docker-server=192.168.50.76:8858 --docker-username=admin --docker-password=root -n kube-devops
这里密码输入错了，应该是wolfcode，后面来改。
查看是否创建完成
kubectl get secret -n kube-devops
3.配置docker(集群中每个节点)
vi /etc/docker/daemon.json
加入"insecure-registries":["192.168.50.76:8858"]
systemctl daemon-reload
systemctl restart docker
4.验证是否生效
docker login -uadmin 192.168.50.76:8858
三、SonarQube
1.安装
# 进入 /opt/k8s/devops
pgsql.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: postgres-datanamespace: kube-devops
spec:accessModes:- ReadWriteManystorageClassName: "managed-nfs-storage"resources:requests:storage: 1Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:name: postgres-sonarnamespace: kube-devops
spec:replicas: 1selector:matchLabels:app: postgres-sonartemplate:metadata:labels:app: postgres-sonarspec:containers:- name: postgres-sonarimage: postgres:14.2ports:- containerPort: 5432env:- name: POSTGRES_DBvalue: "sonarDB"- name: POSTGRES_USERvalue: "sonarUser"- name: POSTGRES_PASSWORD value: "123456"volumeMounts:- name: datamountPath: /var/lib/postgresql/datavolumes:- name: datapersistentVolumeClaim:claimName: postgres-data
---
apiVersion: v1
kind: Service
metadata:name: postgres-sonarnamespace: kube-devopslabels:app: postgres-sonar
spec:type: NodePortports:- name: postgres-sonarport: 5432targetPort: 5432protocol: TCPselector:app: postgres-sonar
sonarqube.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: sonarqube-datanamespace: kube-devops
spec:accessModes:- ReadWriteManystorageClassName: "managed-nfs-storage"resources:requests:storage: 1Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:name: sonarqubenamespace: kube-devopslabels:app: sonarqube
spec:replicas: 1selector:matchLabels:app: sonarqubetemplate:metadata:labels:app: sonarqubespec:initContainers:- name: init-sysctlimage: busybox:1.28.4command: ["sysctl", "-w", "vm.max_map_count=262144"]securityContext:privileged: truecontainers:- name: sonarqubeimage: sonarqubeports:- containerPort: 9000env:- name: SONARQUBE_JDBC_USERNAMEvalue: "sonarUser"- name: SONARQUBE_JDBC_PASSWORDvalue: "123456"- name: SONARQUBE_JDBC_URLvalue: "jdbc:postgresql://postgres-sonar:5432/sonarDB"livenessProbe:httpGet:path: /sessions/newport: 9000initialDelaySeconds: 60periodSeconds: 30readinessProbe:httpGet:path: /sessions/newport: 9000initialDelaySeconds: 60periodSeconds: 30failureThreshold: 6volumeMounts:- mountPath: /opt/sonarqube/confname: data- mountPath: /opt/sonarqube/dataname: data- mountPath: /opt/sonarqube/extensionsname: datavolumes:- name: datapersistentVolumeClaim:claimName: sonarqube-data
---
apiVersion: v1
kind: Service
metadata:name: sonarqubenamespace: kube-devopslabels:app: sonarqube
spec:type: NodePortports:- name: sonarqubeport: 9000targetPort: 9000protocol: TCPselector:app: sonarqube
部署
kubectl apply -f sonarqube/
查看
kubectl get pod -n kube-devops
kubectl logs -f sonarqube-58669db48f-kd6c9 -n kube-devops
2.生成服务token
# 登录到 sonarqube 后台，点击头像 > MyAccount > Security > Generate Tokens > generate 生成 token 并复制
3.创建webhook服务
# 点击顶部菜单栏的配置 > 配置（小三角） > 网络调用
Name：wolfcode-jenkins
URL：http://<sonar ip>:<sonar port>/sonarqube-webhook/
4.创建项目
# SonarQube 顶部菜单栏 Projects > Create new project > 配置基础信息并保存 > Provide a token > Generate 生成 token > Continue
# 分别选择 Java / Maven 后，按照脚本配置 Jenkinsfile 中的 sonar 配置信息
mvn sonar:sonar -Dsonar.projectKey=k8s-cicd-demo
四、Jenkins
1.构建带maven环境的jenkins镜像
dockerfile
FROM jenkins/jenkins:2.462.2-jdk11
ADD ./apache-maven-3.9.0-bin.tar.gz /usr/local/
ADD ./sonar-scanner-4.8.0.2856-linux /usr/local/sonar-scannerENV MAVEN_HOME=/usr/local/apache-maven-3.9.0
ENV PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATHUSER rootRUN echo "jenkins ALL=NOPASSWD: ALL" >> /etc/sudoers
USER jenkins
另外需要准备的是maven的安装包和解压后的sonar安装包
# 构建带 maven 环境的 jenkins 镜像
docker build -t 192.168.50.76:8858/wolfcode/jenkins-maven:v1 .
# 登录 harbor
docker login -uadmin 192.168.50.76:8858
密码是wolfcode
# 推送镜像到 harbor
docker push 192.168.50.76:8858/wolfcode/jenkins-maven:v1
2.安装jenkins
# 进入 jenkins 目录，安装 jenkins
kubectl apply -f manifests/
# 查看是否运行成功
kubectl get po -n kube-devops
# 查看 service 端口，通过浏览器访问
kubectl get svc -n kube-devops
# 查看容器日志，获取默认密码
kubectl logs -f pod名称 -n kube-devops
3.安装插件
如果有些插件搜不到，可以去官网下载 https://plugins.jenkins.io/
3.1 build authorization token root
构建授权 token
3.2 gitlab
gitlab 配置插件
3.3 sonarqube scanner
代码质量审查工具
在 Dashboard > 系统管理 > Configure System 下面配置 SonarQube servers
Name：sonarqube # 注意这个名字要在 Jenkinsfile 中用到
Server URL：http://sonarqube:9000
Server authentication token：创建 credentials 配置为从 sonarqube 中得到的 token
进入系统管理 > 全局工具配置 > SonarQube Scanner > Add SonarQube Scanner
Name：sonarqube-scanner
自动安装：取消勾选
SONAR_RUNNER_HOME：/usr/local/sonar-scanner-cli
3.4 node and label parameter
节点标签参数配置
3.5 kubenetes
jenkins + k8s 环境配置
进入 Dashboard > 系统管理 > 节点管理 > Configure Clouds 页面
配置 k8s 集群
名称：kubernetes
点击 Kubernetes Cloud details 继续配置
Kubernetes 地址：
如果 jenkins 是运行在 k8s 容器中，直接配置服务名即可
https://kubernetes.default
如果 jenkins 部署在外部，那么则不仅要配置外部访问 ip 以及 apiserver 的端口（6443），还需要配置服务证书
Jenkins 地址：
如果部署在 k8s 集群内部：http://jenkins-service.kube-devops
如果在外部：http://192.168.113.120:32479（换成你们自己的）
配置完成后保存即可
3.6 config file provider
用于加载外部配置文件，如 Maven 的 settings.xml 或者 k8s 的 kubeconfig 等
3.7 git parameter
git 参数插件，在进行项目参数化构建时使用
4.创建gitlab访问凭证
系统管理 > 安全 > Manage Credentials > System > 全局凭据（unrestricted） > Add Credentials
范围：全局
用户名：root
密码：wolfcode
ID：gitlab-user-pass
五、创建流水线项目
在首页点击 Create a Job 创建一个流水线风格的项目
六、案例：springboot项目CICD
这篇关于k8s上搭建devops环境的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
