k8s部署skywalking(helm)

2024-05-07 13:44
文章标签 云原生 部署 k8s helm skywalking

本文主要是介绍k8s部署skywalking(helm)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

官方文档

  • 官方文档说明：Backend setup | Apache SkyWalking
  • 官方helm源码：apache/skywalking-helm
  • 官方下载（包括agent、apm）:Downloads | Apache SkyWalking

部署

根据官方helm提示，选择你自己部署的方式，是放到私有仓库还是采用官方镜像仓库

在这里插入图片描述

服务端部署

helm配置文件

这里我们有现成的es，所以设置为false,不在部署新的es;

oap:image:repository: skywalking.docker.scarf.sh/apache/skywalking-oap-servertag: 9.7.0  # Must be set explicitlypullPolicy: AlwaysstorageType: elasticsearchenv:SW_CORE_RECORD_DATA_TTL: "7" # 设置记录数据的保留时间SW_CORE_METRICS_DATA_TTL: "7" # 经过聚合处理的指标数据的保留时间# 官方健康监测默认值是10s，太短了，会认为一直失败，导致重启startupProbe:tcpSocket:port: 12800failureThreshold: 9periodSeconds: 30resources:limits:cpu: 8memory: 8Girequests:cpu: 8memory: 4Gi
ui:image:repository: skywalking.docker.scarf.sh/apache/skywalking-uitag: 9.7.0  # Must be set explicitlypullPolicy: Alwaysingress:enabled: truepath: /hosts:- sky.example.com
elasticsearch:enabled: falseconfig:               # For users of an existing elasticsearch cluster,takes effect when `elasticsearch.enabled` is falsehost: es.xx.xxx.comport:http: 80user: "xxx"         # [optional]password: "xxx"     # [optional]

如果没有现成的es，需要部署新的，配置文件如下：

oap:
image:repository: skywalking.docker.scarf.sh/apache/skywalking-oap-servertag: 9.7.0  # Must be set explicitlypullPolicy: Always
storageType: elasticsearch
env:SW_CORE_RECORD_DATA_TTL: "7" # 设置记录数据的保留时间SW_CORE_METRICS_DATA_TTL: "7" # 经过聚合处理的指标数据的保留时间
# 官方健康监测默认值是10s，太短了，会认为一直失败，导致重启
startupProbe:tcpSocket:port: 12800failureThreshold: 9periodSeconds: 30
resources:limits:cpu: 8memory: 8Girequests:cpu: 8memory: 4Gi
ui:
image:repository: skywalking.docker.scarf.sh/apache/skywalking-uitag: 9.7.0  # Must be set explicitlypullPolicy: Always
ingress:enabled: truepath: /hosts:- sky.example.com
elasticsearch:enabled: truereplicas: 1minimumMasterNodes: 1nodeGroup: "single-node"persistence: enabled: trueinitResources:requests:memory: 2GiclusterHealthCheckParams: "wait_for_status=yellow&timeout=1s"volumeClaimTemplate:accessModes: [ "ReadWriteOnce" ]storageClassName: pvc-esresources:requests:storage: 512Gi

注意调整这两个参数，SW_CORE_RECORD_DATA_TTL和SW_CORE_METRICS_DATA_TTL。官方默认的是时间分别为3和7

开始部署

这里建议采用私有仓库部署，一方面是网络开销小，另一方面公有仓库存在一些问题（下面回答），这里只做demo演示，先暂时采用公有仓库部署

# helm chat 的版本
export SKYWALKING_RELEASE_VERSION=4.5.0
# helm 的 release name
export SKYWALKING_RELEASE_NAME=skywalking
# k8s 的命名空间
export SKYWALKING_RELEASE_NAMESPACE=tools# 部署
helm install "${SKYWALKING_RELEASE_NAME}" \oci://registry-1.docker.io/apache/skywalking-helm \--version "${SKYWALKING_RELEASE_VERSION}" \-n "${SKYWALKING_RELEASE_NAMESPACE}" -f ./values.yaml

这个时候，你会在k8s后台看到2个服务，一个是oap的，一个是ui的

Java项目集成

因为Java项目集成skywalking是通过agent集成的，所以需要从官网上下载agent包，对于部署方式，也存在下面几种种方式：

  • agent打入dockerfile镜像；
  • k8s sidecar方式，需要申请共享磁盘；
  • 当然，还有一种是本地开发环境连接线上服务端的场景。

在这里我们说一下第一种方式和本地调试。

Dockerfile

准备内容：

  • 从官方网站下载agent包到本地
  • 可执行的Java web项目
FROM  openjdk:8-jdk # 你们项目自身的环境，比如openjdk-8
LABEL maintainer="xx.xx@xxx.com"
COPY skywalking-agent-9.2.0 /opt/skywalking-agent-9.2.0# 时区问题
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo "Asia/shanghai" > /etc/timezoneVOLUME /tmp
ADD spring-web-demo-1.0.0.jar app.jar
RUN sh -c 'touch /app.jar'
RUN ls -l
RUN ls -l /opt
RUN ls -l /opt/skywalking-agent-9.2.0/ENTRYPOINT ["sh", "-c", "java -javaagent:/opt/skywalking-agent-9.2.0/skywalking-agent.jar -Dskywalking.agent.service_name=sky-demo -Dskywalking.collector.backend_service=skywalking-skywalking-helm-oap.tools:11800 -Djava.security.egd=file:/dev/./urandom -jar /app.jar"]

参数解释：

-javaagent:/opt/skywalking-agent-9.2.0/skywalking-agent.jar：agent jar包

-Dskywalking.agent.service_name=sky-demo：skywalking中显示的服务名称

-Dskywalking.collector.backend_service=skywalking-skywalking-helm-oap.tools:11800：skywalking 服务端收集的端口

上述参数也可以通过k8s环境变量的方式实现，如下：

containers:  
- name: <example-name>image: <image>ports:- containerPort: <port>env:- name: VA_OPTSvalue: "-Dfile.encoding=utf-8 -Duser.timezone=UTC"- name: JAVA_TOOL_OPTIONSvalue: "-javaagent:/skywalking/agent/skywalking-agent.jar"- name: SW_AGENT_NAMESPACEvalue: "dev"- name: SW_AGENT_NAMEvalue: "dev::example-name"- name: SW_AGENT_COLLECTOR_BACKEND_SERVICESvalue: "skywalking-skywalking-helm-oap.skywalking.svc.cluster.local:11800"
k8s yaml文件
apiVersion: apps/v1
kind: Deployment
metadata:name: sky-demonamespace: toolslabels:app: sky-demo
spec:replicas: 1selector:matchLabels:app: sky-demotemplate:metadata:labels:app: sky-demospec:containers:- name: sky-demoimage: xxx/sky-demo:v1.5imagePullPolicy: IfNotPresentports:- containerPort: 9020resources:requests:memory: "512Mi"cpu: "200m"limits:memory: "4Gi"cpu: "2000m"

部署成功，即可在skywalking页面显示，下面来说另一种方式

本地调试

idea启动

以端口号为9020的商品服务为例，添加以下JVM启动参数

# skywalking客户端路径
-javaagent:E:\skywalking\skywalking-agent\skywalking-agent.jar
# 服务名称
-Dskywalking.agent.service_name=sky-demo
-Dskywalking.collector.backend_service=skywalking-skywalking-helm-oap.tools:11800

如图所示：

在这里插入图片描述

最终效果

在这里插入图片描述

该页面中包含四个标签页：Service、Topology、Trace、Log。

  • Service：微服务列表。类比eureka服务端的服务列表。在该列表中，发现其表格中包含了以下几列

    • Service Groups：服务分组。

      当我们启动服务时，在JVM启动参数中为其添加了skywalking的服务名称-Dskywalking.agent.service_name=sky-demo，如果需要为该服务指定分组，则需要以 分组名::服务名 配置服务名称。

      例如我们需要将商品服务的分组设置为test，则将该参数修改为-Dskywalking.agent.service_name=test::sky-demo。

    • Service Names：服务名称。

    • Load(calls/min)：平均每分钟调用次数。

    • Success Rate(%)：调用成功率。

    • Latency(ms)：延迟。

    • apdex：应用性能指数。

  • Topology：服务拓扑图。

  • Trace：服务调用链路。

  • Log：服务调用日志。

查看服务实例

在这里插入图片描述

修改实例名称

由于skywalking生成的实例名称有默认规则，我们可以对其进行修改，以增加各个服务实例的辨识度。

在项目的JVM启动参数中添加配置：-Dskywalking.agent.instance_name=实例名称，且可以发现实例名称支持中文

踩坑点

本地调试连接不上skywalking 服务端，就是服务怎么都注册不上去！

  • 检查 skywalking-skywalking-helm-oap.skywalking.svc.cluster.local:11800 host和port是否正确

  • 检查k8s的ingress是否支持grpc，并且需要在ingress和ingress controller开启grpc。

如果开启了还是注册不上去，查看日志报错信息，在java客户端，找到agent的包，里面有个logs文件夹，进去查看具体报错详情。

运行一段时间后，发现服务端起不起来

报错信息为：

table: xxx does not exist. OAP is running in 'no-init' mode, waiting...

如果采用公有的helm部署，大概率会出现这种问题

这个是由于Skywalking的TTL失效bug引起，这种情况是es做了日志保存时间策略，导致数据删除，有两种解决方案：

  • 在es中删除skywalking相应的index和template，然后重启oap服务；

  • helm镜像仓库中添加以下内容：

    ui-deployment.yaml文件下添加：

    apiVersion: apps/v1
kind: Deployment
.
.
{{- end }}initContainers:{{- include "skywalking.containers.wait-for-storage" . | nindent 6 }}{{- include "skywalking.containers.oap-init-job" . | nindent 6 }}

    _helpers.tpl添加：

    # Template for oap init job container 
{{- define "skywalking.containers.oap-init-job" -}}
- name: oap-init-jobimage: {{ .Values.oap.image.repository }}:{{ required "oap.image.tag is required" .Values.oap.image.tag }}imagePullPolicy: {{ .Values.oap.image.pullPolicy }}env:- name: JAVA_OPTSvalue: "{{ .Values.oap.javaOpts }} -Dmode=init"{{- include "skywalking.oap.envs.storage" . | nindent 2 }}{{- range $key, $value :=  .Values.oap.env }}- name: {{ $key }}value: {{ $value | quote }}{{- end }}
{{- end -}}

    官方issue：table: alarm_record does not exist. OAP is running in ‘no-init’ mode, waiting… retry 3s later. · Issue #4938 · apache/skywalking (github.com)

k8s服务端启动过程中，每次日志信息还没加载完，就重启，并且日志没有任何报错信息

解决方案：

startupProbe.periodSeconds尽量调大一点

oap:image:repository: skywalking.docker.scarf.sh/apache/skywalking-oap-servertag: 9.7.0  # Must be set explicitlypullPolicy: AlwaysstorageType: elasticsearchenv:SW_CORE_RECORD_DATA_TTL: "7" # 设置记录数据的保留时间SW_CORE_METRICS_DATA_TTL: "7" # 经过聚合处理的指标数据的保留时间# 官方健康监测默认值是10s，太短了，会认为一直失败，导致重启startupProbe:tcpSocket:port: 12800failureThreshold: 9periodSeconds: 30

拓展

sidecar方式

主要讲解在Kubernetes Pod initContainer 中执行Shell指令，将agent复制到共享磁盘里面，并且将 apm-trace-ignore-plugin.jar 插件拷贝至 plugins 文件夹，并配置需要忽略的路径。

apiVersion: apps/v1
kind: Deployment
metadata:namespace: dmp-ns1name: daoshop-user-centerlabels:app: daoshop-user-center
spec:selector:matchLabels:app: daoshop-user-centertemplate:metadata:labels:app: daoshop-user-centerspec:# refs: https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-initialization/initContainers:- name: dx-monitor-agent-sidecarimage: registry.dx.io/daocloud-dmp/dx-monitor-agent-sidecar:release-2.3.0-0b0cbd1imagePullPolicy: IfNotPresent# 将trace-ignore插件拷贝至`plugins`目录下。# 添加相关配置,这里将忽略追踪 `/api/sail/**` 为前缀的URL。command: - "sh"- "-c"- > mv /sidecar/skywalking/agent/optional-plugins/apm-trace-ignore-plugin-6.5.0-SNAPSHOT.jar /sidecar/skywalking/agent/plugins; echo 'trace.ignore_path=${TRACE_IGNORE_PATH:/eureka/**,/api/sail/**}' >> /sidecar/skywalking/agent/config/apm-trace-ignore-plugin.config; cp -r /sidecar /target; volumeMounts:- name: sidecarmountPath: /targetcontainers:- image: {{ daoshop-user-center.image }}name: daoshop-user-centerresources:requests:memory: "2048Mi"cpu: "500m"limits:memory: "2048Mi"cpu: "500m"ports:- containerPort: 18081env:- name: JAVA_OPTSvalue: "-javaagent:/sidecar/sidecar/skywalking/agent/skywalking-agent.jar" - name: SW_AGENT_NAMEvalue: apm-demo- name: SW_AGENT_COLLECTOR_BACKEND_SERVICES  value: dx-skywalking-oap-ng.dx-pilot.svc:11800volumeMounts:- name: sidecarmountPath: /sidecarvolumes:- name: sidecar  #共享agent文件夹emptyDir: {}
---
apiVersion: v1
kind: Service
metadata:name: daoshop-user-center
spec:type: NodePortports:- port: 18081selector:app: daoshop-user-center

参考链接

skywalking_理想万岁万万岁的博客-CSDN博客

这篇关于k8s部署skywalking(helm)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/967521。

相关文章

Docker部署Jenkins持续集成(CI)工具的实现

Docker部署Jenkins持续集成(CI)工具的实现

《Docker部署Jenkins持续集成(CI)工具的实现》Jenkins是一个流行的开源自动化工具,广泛应用于持续集成（CI）和持续交付（CD）的环境中,本文介绍了使用Docker部署Jenkins... 目录前言一、准备工作二、设置变量和目录结构三、配置 docker 权限和网络四、启动 Jenkins
阅读更多...
SpringBoot中整合RabbitMQ(测试+部署上线最新完整)的过程

SpringBoot中整合RabbitMQ(测试+部署上线最新完整)的过程

《SpringBoot中整合RabbitMQ(测试+部署上线最新完整)的过程》本文详细介绍了如何在虚拟机和宝塔面板中安装RabbitMQ,并使用Java代码实现消息的发送和接收,通过异步通讯,可以优化... 目录一、RabbitMQ安装二、启动RabbitMQ三、javascript编写Java代码1、引入
阅读更多...
ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署
阅读更多...
部署Vue项目到服务器后404错误的原因及解决方案

部署Vue项目到服务器后404错误的原因及解决方案

《部署Vue项目到服务器后404错误的原因及解决方案》文章介绍了Vue项目部署步骤以及404错误的解决方案,部署步骤包括构建项目、上传文件、配置Web服务器、重启Nginx和访问域名,404错误通常是... 目录一、vue项目部署步骤二、404错误原因及解决方案错误场景原因分析解决方案一、Vue项目部署步骤
阅读更多...
Linux流媒体服务器部署流程

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装（添加RTMP和openssl模块
阅读更多...
0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型，3步搞定一个应
阅读更多...
redis群集简单部署过程

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.
阅读更多...
Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll
阅读更多...
nginx部署https网站的实现步骤(亲测)

nginx部署https网站的实现步骤(亲测)

《nginx部署https网站的实现步骤(亲测)》本文详细介绍了使用Nginx在保持与http服务兼容的情况下部署HTTPS,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录步骤 1：安装 Nginx步骤 2：获取 SSL 证书步骤 3：手动配置 Nginx步骤 4：测
阅读更多...
Tomcat高效部署与性能优化方式

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2