k8s部署skywalking(helm)

2024-05-07 13:44
文章标签 云原生 部署 k8s helm skywalking

本文主要是介绍k8s部署skywalking(helm)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

官方文档

  • 官方文档说明：Backend setup | Apache SkyWalking
  • 官方helm源码：apache/skywalking-helm
  • 官方下载（包括agent、apm）:Downloads | Apache SkyWalking

部署

根据官方helm提示，选择你自己部署的方式，是放到私有仓库还是采用官方镜像仓库

在这里插入图片描述

服务端部署

helm配置文件

这里我们有现成的es，所以设置为false,不在部署新的es;

oap:image:repository: skywalking.docker.scarf.sh/apache/skywalking-oap-servertag: 9.7.0  # Must be set explicitlypullPolicy: AlwaysstorageType: elasticsearchenv:SW_CORE_RECORD_DATA_TTL: "7" # 设置记录数据的保留时间SW_CORE_METRICS_DATA_TTL: "7" # 经过聚合处理的指标数据的保留时间# 官方健康监测默认值是10s，太短了，会认为一直失败，导致重启startupProbe:tcpSocket:port: 12800failureThreshold: 9periodSeconds: 30resources:limits:cpu: 8memory: 8Girequests:cpu: 8memory: 4Gi
ui:image:repository: skywalking.docker.scarf.sh/apache/skywalking-uitag: 9.7.0  # Must be set explicitlypullPolicy: Alwaysingress:enabled: truepath: /hosts:- sky.example.com
elasticsearch:enabled: falseconfig:               # For users of an existing elasticsearch cluster,takes effect when `elasticsearch.enabled` is falsehost: es.xx.xxx.comport:http: 80user: "xxx"         # [optional]password: "xxx"     # [optional]

如果没有现成的es，需要部署新的，配置文件如下：

oap:
image:repository: skywalking.docker.scarf.sh/apache/skywalking-oap-servertag: 9.7.0  # Must be set explicitlypullPolicy: Always
storageType: elasticsearch
env:SW_CORE_RECORD_DATA_TTL: "7" # 设置记录数据的保留时间SW_CORE_METRICS_DATA_TTL: "7" # 经过聚合处理的指标数据的保留时间
# 官方健康监测默认值是10s，太短了，会认为一直失败，导致重启
startupProbe:tcpSocket:port: 12800failureThreshold: 9periodSeconds: 30
resources:limits:cpu: 8memory: 8Girequests:cpu: 8memory: 4Gi
ui:
image:repository: skywalking.docker.scarf.sh/apache/skywalking-uitag: 9.7.0  # Must be set explicitlypullPolicy: Always
ingress:enabled: truepath: /hosts:- sky.example.com
elasticsearch:enabled: truereplicas: 1minimumMasterNodes: 1nodeGroup: "single-node"persistence: enabled: trueinitResources:requests:memory: 2GiclusterHealthCheckParams: "wait_for_status=yellow&timeout=1s"volumeClaimTemplate:accessModes: [ "ReadWriteOnce" ]storageClassName: pvc-esresources:requests:storage: 512Gi

注意调整这两个参数，SW_CORE_RECORD_DATA_TTL和SW_CORE_METRICS_DATA_TTL。官方默认的是时间分别为3和7

开始部署

这里建议采用私有仓库部署，一方面是网络开销小，另一方面公有仓库存在一些问题（下面回答），这里只做demo演示，先暂时采用公有仓库部署

# helm chat 的版本
export SKYWALKING_RELEASE_VERSION=4.5.0
# helm 的 release name
export SKYWALKING_RELEASE_NAME=skywalking
# k8s 的命名空间
export SKYWALKING_RELEASE_NAMESPACE=tools# 部署
helm install "${SKYWALKING_RELEASE_NAME}" \oci://registry-1.docker.io/apache/skywalking-helm \--version "${SKYWALKING_RELEASE_VERSION}" \-n "${SKYWALKING_RELEASE_NAMESPACE}" -f ./values.yaml

这个时候，你会在k8s后台看到2个服务，一个是oap的，一个是ui的

Java项目集成

因为Java项目集成skywalking是通过agent集成的，所以需要从官网上下载agent包，对于部署方式，也存在下面几种种方式：

  • agent打入dockerfile镜像；
  • k8s sidecar方式，需要申请共享磁盘；
  • 当然，还有一种是本地开发环境连接线上服务端的场景。

在这里我们说一下第一种方式和本地调试。

Dockerfile

准备内容：

  • 从官方网站下载agent包到本地
  • 可执行的Java web项目
FROM  openjdk:8-jdk # 你们项目自身的环境，比如openjdk-8
LABEL maintainer="xx.xx@xxx.com"
COPY skywalking-agent-9.2.0 /opt/skywalking-agent-9.2.0# 时区问题
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo "Asia/shanghai" > /etc/timezoneVOLUME /tmp
ADD spring-web-demo-1.0.0.jar app.jar
RUN sh -c 'touch /app.jar'
RUN ls -l
RUN ls -l /opt
RUN ls -l /opt/skywalking-agent-9.2.0/ENTRYPOINT ["sh", "-c", "java -javaagent:/opt/skywalking-agent-9.2.0/skywalking-agent.jar -Dskywalking.agent.service_name=sky-demo -Dskywalking.collector.backend_service=skywalking-skywalking-helm-oap.tools:11800 -Djava.security.egd=file:/dev/./urandom -jar /app.jar"]

参数解释：

-javaagent:/opt/skywalking-agent-9.2.0/skywalking-agent.jar：agent jar包

-Dskywalking.agent.service_name=sky-demo：skywalking中显示的服务名称

-Dskywalking.collector.backend_service=skywalking-skywalking-helm-oap.tools:11800：skywalking 服务端收集的端口

上述参数也可以通过k8s环境变量的方式实现，如下：

containers:  
- name: <example-name>image: <image>ports:- containerPort: <port>env:- name: VA_OPTSvalue: "-Dfile.encoding=utf-8 -Duser.timezone=UTC"- name: JAVA_TOOL_OPTIONSvalue: "-javaagent:/skywalking/agent/skywalking-agent.jar"- name: SW_AGENT_NAMESPACEvalue: "dev"- name: SW_AGENT_NAMEvalue: "dev::example-name"- name: SW_AGENT_COLLECTOR_BACKEND_SERVICESvalue: "skywalking-skywalking-helm-oap.skywalking.svc.cluster.local:11800"
k8s yaml文件
apiVersion: apps/v1
kind: Deployment
metadata:name: sky-demonamespace: toolslabels:app: sky-demo
spec:replicas: 1selector:matchLabels:app: sky-demotemplate:metadata:labels:app: sky-demospec:containers:- name: sky-demoimage: xxx/sky-demo:v1.5imagePullPolicy: IfNotPresentports:- containerPort: 9020resources:requests:memory: "512Mi"cpu: "200m"limits:memory: "4Gi"cpu: "2000m"

部署成功，即可在skywalking页面显示，下面来说另一种方式

本地调试

idea启动

以端口号为9020的商品服务为例，添加以下JVM启动参数

# skywalking客户端路径
-javaagent:E:\skywalking\skywalking-agent\skywalking-agent.jar
# 服务名称
-Dskywalking.agent.service_name=sky-demo
-Dskywalking.collector.backend_service=skywalking-skywalking-helm-oap.tools:11800

如图所示：

在这里插入图片描述

最终效果

在这里插入图片描述

该页面中包含四个标签页：Service、Topology、Trace、Log。

  • Service：微服务列表。类比eureka服务端的服务列表。在该列表中，发现其表格中包含了以下几列

    • Service Groups：服务分组。

      当我们启动服务时，在JVM启动参数中为其添加了skywalking的服务名称-Dskywalking.agent.service_name=sky-demo，如果需要为该服务指定分组，则需要以 分组名::服务名 配置服务名称。

      例如我们需要将商品服务的分组设置为test，则将该参数修改为-Dskywalking.agent.service_name=test::sky-demo。

    • Service Names：服务名称。

    • Load(calls/min)：平均每分钟调用次数。

    • Success Rate(%)：调用成功率。

    • Latency(ms)：延迟。

    • apdex：应用性能指数。

  • Topology：服务拓扑图。

  • Trace：服务调用链路。

  • Log：服务调用日志。

查看服务实例

在这里插入图片描述

修改实例名称

由于skywalking生成的实例名称有默认规则，我们可以对其进行修改，以增加各个服务实例的辨识度。

在项目的JVM启动参数中添加配置：-Dskywalking.agent.instance_name=实例名称，且可以发现实例名称支持中文

踩坑点

本地调试连接不上skywalking 服务端，就是服务怎么都注册不上去！

  • 检查 skywalking-skywalking-helm-oap.skywalking.svc.cluster.local:11800 host和port是否正确

  • 检查k8s的ingress是否支持grpc，并且需要在ingress和ingress controller开启grpc。

如果开启了还是注册不上去，查看日志报错信息，在java客户端，找到agent的包，里面有个logs文件夹，进去查看具体报错详情。

运行一段时间后，发现服务端起不起来

报错信息为：

table: xxx does not exist. OAP is running in 'no-init' mode, waiting...

如果采用公有的helm部署，大概率会出现这种问题

这个是由于Skywalking的TTL失效bug引起，这种情况是es做了日志保存时间策略，导致数据删除，有两种解决方案：

  • 在es中删除skywalking相应的index和template，然后重启oap服务；

  • helm镜像仓库中添加以下内容：

    ui-deployment.yaml文件下添加：

    apiVersion: apps/v1
kind: Deployment
.
.
{{- end }}initContainers:{{- include "skywalking.containers.wait-for-storage" . | nindent 6 }}{{- include "skywalking.containers.oap-init-job" . | nindent 6 }}

    _helpers.tpl添加：

    # Template for oap init job container 
{{- define "skywalking.containers.oap-init-job" -}}
- name: oap-init-jobimage: {{ .Values.oap.image.repository }}:{{ required "oap.image.tag is required" .Values.oap.image.tag }}imagePullPolicy: {{ .Values.oap.image.pullPolicy }}env:- name: JAVA_OPTSvalue: "{{ .Values.oap.javaOpts }} -Dmode=init"{{- include "skywalking.oap.envs.storage" . | nindent 2 }}{{- range $key, $value :=  .Values.oap.env }}- name: {{ $key }}value: {{ $value | quote }}{{- end }}
{{- end -}}

    官方issue：table: alarm_record does not exist. OAP is running in ‘no-init’ mode, waiting… retry 3s later. · Issue #4938 · apache/skywalking (github.com)

k8s服务端启动过程中，每次日志信息还没加载完，就重启，并且日志没有任何报错信息

解决方案：

startupProbe.periodSeconds尽量调大一点

oap:image:repository: skywalking.docker.scarf.sh/apache/skywalking-oap-servertag: 9.7.0  # Must be set explicitlypullPolicy: AlwaysstorageType: elasticsearchenv:SW_CORE_RECORD_DATA_TTL: "7" # 设置记录数据的保留时间SW_CORE_METRICS_DATA_TTL: "7" # 经过聚合处理的指标数据的保留时间# 官方健康监测默认值是10s，太短了，会认为一直失败，导致重启startupProbe:tcpSocket:port: 12800failureThreshold: 9periodSeconds: 30

拓展

sidecar方式

主要讲解在Kubernetes Pod initContainer 中执行Shell指令，将agent复制到共享磁盘里面，并且将 apm-trace-ignore-plugin.jar 插件拷贝至 plugins 文件夹，并配置需要忽略的路径。

apiVersion: apps/v1
kind: Deployment
metadata:namespace: dmp-ns1name: daoshop-user-centerlabels:app: daoshop-user-center
spec:selector:matchLabels:app: daoshop-user-centertemplate:metadata:labels:app: daoshop-user-centerspec:# refs: https://kubernetes.io/docs/tasks/configure-pod-container/configure-pod-initialization/initContainers:- name: dx-monitor-agent-sidecarimage: registry.dx.io/daocloud-dmp/dx-monitor-agent-sidecar:release-2.3.0-0b0cbd1imagePullPolicy: IfNotPresent# 将trace-ignore插件拷贝至`plugins`目录下。# 添加相关配置,这里将忽略追踪 `/api/sail/**` 为前缀的URL。command: - "sh"- "-c"- > mv /sidecar/skywalking/agent/optional-plugins/apm-trace-ignore-plugin-6.5.0-SNAPSHOT.jar /sidecar/skywalking/agent/plugins; echo 'trace.ignore_path=${TRACE_IGNORE_PATH:/eureka/**,/api/sail/**}' >> /sidecar/skywalking/agent/config/apm-trace-ignore-plugin.config; cp -r /sidecar /target; volumeMounts:- name: sidecarmountPath: /targetcontainers:- image: {{ daoshop-user-center.image }}name: daoshop-user-centerresources:requests:memory: "2048Mi"cpu: "500m"limits:memory: "2048Mi"cpu: "500m"ports:- containerPort: 18081env:- name: JAVA_OPTSvalue: "-javaagent:/sidecar/sidecar/skywalking/agent/skywalking-agent.jar" - name: SW_AGENT_NAMEvalue: apm-demo- name: SW_AGENT_COLLECTOR_BACKEND_SERVICES  value: dx-skywalking-oap-ng.dx-pilot.svc:11800volumeMounts:- name: sidecarmountPath: /sidecarvolumes:- name: sidecar  #共享agent文件夹emptyDir: {}
---
apiVersion: v1
kind: Service
metadata:name: daoshop-user-center
spec:type: NodePortports:- port: 18081selector:app: daoshop-user-center

参考链接

skywalking_理想万岁万万岁的博客-CSDN博客

这篇关于k8s部署skywalking(helm)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/967521。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
90、k8s之secret+configMap

90、k8s之secret+configMap

一、secret配置管理 配置管理： 加密配置：保存密码，token，其他敏感信息的k8s资源 应用配置：我们需要定制化的给应用进行配置，我们需要把定制好的配置文件同步到pod当中容器 1.1、加密配置： secret： [root@master01 ~]# kubectl get secrets ##查看加密配置[root@master01 ~]# kubectl get se
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...
在 Windows 上部署 gitblit

在 Windows 上部署 gitblit

在 Windows 上部署 gitblit 在 Windows 上部署 gitblit 缘起gitblit 是什么安装JDK部署 gitblit 下载 gitblit 并解压配置登录注册为 windows 服务 修改 installService.cmd 文件运行 installService.cmd运行 gitblitw.exe查看 services.msc 缘起
阅读更多...
【Kubernetes】K8s 的安全框架和用户认证

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证：Authentication1.2 鉴权：Authorization1.3 准入控制：Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟
阅读更多...
Solr部署如何启动

Solr部署如何启动

Solr部署如何启动 Posted on 一月 10, 2013 in:  Solr入门 | 评论关闭 我刚接触solr，我要怎么启动，这是群里的朋友问得比较多的问题， solr最新版本下载地址： http://www.apache.org/dyn/closer.cgi/lucene/solr/ 1、准备环境 建立一个solr目录，把solr压缩包example目录下的内容复制
阅读更多...
Spring Roo 实站（ 一 ）部署安装 第一个示例程序

Spring Roo 实站（ 一 ）部署安装 第一个示例程序

转自：http://blog.csdn.net/jun55xiu/article/details/9380213 一：安装 注：可以参与官网spring-roo： static.springsource.org/spring-roo/reference/html/intro.html#intro-exploring-sampleROO_OPTS http://stati
阅读更多...
828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群

828华为云征文｜华为云Flexus X实例docker部署rancher并构建k8s集群 华为云最近正在举办828 B2B企业节，Flexus X实例的促销力度非常大，特别适合那些对算力性能有高要求的小伙伴。如果你有自建MySQL、Redis、Nginx等服务的需求，一定不要错过这个机会。赶紧去看看吧！ 什么是华为云Flexus X实例 华为云Flexus X实例云服务是新一代开箱即用、体
阅读更多...
部署若依Spring boot项目

部署若依Spring boot项目

nohup和& nohup命令解释 nohup命令：nohup 是 no hang up 的缩写，就是不挂断的意思，但没有后台运行，终端不能标准输入。nohup ：不挂断的运行，注意并没有后台运行的功能，就是指，用nohup运行命令可以使命令永久的执行下去，和用户终端没有关系，注意了nohup没有后台运行的意思；&才是后台运行在缺省情况下该作业的所有输出都被重定向到一个名为nohup.o
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2