蚂蚁集团 SOFATracer 原理与实践

2024-01-17 04:32

本文主要是介绍蚂蚁集团 SOFATracer 原理与实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景

微服务架构带来很多好处的同时也让系统的复杂度提升了,传统的单体应用按照不同的维度拆分成一个一个分布式微服务,不同的微服务甚至可能采用不同的语言编写;此外,服务的部署往往都是分布式的,可能有几千台服务器,横跨多个不同的城市数据中心。下图是一个典型的微服务架构,图中的节点数还比较少,在支付宝,一个线下支付整体交易付款链路,涉及上百个节点。

图片来源:

https://www.splunk.com/en_us/data-insider/what-is-distributed-tracing.html#benefits-of-distributed-tracing

微服务化引入了以下几个典型问题:

  1. 故障定位难,一次请求往往需要涉及到多个服务,排查问题甚至需要拉上多个团队;

  2. 完整调用链路梳理难,节点调用关系分析;

  3. 性能分析难,确认性能短板节点。

以上这几个问题其实都是应用的可观测性问题:

  • Log;

  • Trace;

  • Metrics 。

本文将会专注于 Trace 方面,完整地说是分布式链路跟踪 (Distributed tracing)。2010 年谷歌发表了 Dapper 的论文,分享了他们的解决方案,算是业界比较早的分布式链路追踪系统。之后各大互联网公司纷纷参照 Dapper 的思想推出各自的分布式链路跟踪系统,包括 Twitter 的 Zipkin、阿里的鹰眼,还有 PinPoint,Apache 的 HTrace 和 Uber 的 Jaeger;当然,也有我们的本文的主角:SOFATracer。分布式链路的实现有多种多样,因此也催生了分布式链路追踪的规范:OpenTracing,2019 年 OpenTracing 和 OpenCensus 合并成为了 OpenTelemetry。

01

OpenTracing

在深入 SOFATracer 之前先简单解释一下 OpenTracing,因为 SOFATracer 是基于 OpenTracing 规范(基于 0.22.0 的 OpenTracing,新版的规范 API 有所不同)构建的。一个 Trace 由服务调用生成的 Span 及其之间的引用构成。

Span 直译过来是时间跨度的意思,OpenTracing 用其来表达一次服务调用是时间空间上的跨度(目前还没有中文翻译);一次服务调用创建一个新 Span,分为调用 Span 和被调 Span,调用 Span 和被调 Span 合并之后就是一个完整的 Span,每个完整 Span 包含:

  • TraceId and SpanId;

  • 操作名称;

  • 耗时;

  • 服务调用结果。

一个 trace 链路中一般会有多个服务调用,那么也就会有多个 span,span 之间的关系由引用声明,引用从调用者指向服务提供者,OpenTracing 中指定了两个引用类型:

  • ChildOf,同步服务调用,客户端需要服务端的结果返回才能进行后续处理;

  • FollowsFrom,异步服务调用,客户端不等待服务端结果。

一个 Trace 是一个有向无环图,一次调用的拓扑可以如下展示:

图中的 spanContext 是一次请求中会共享的数据,因此叫做 Span 上下文,一个服务节点在上下文中放入的数据对于后续的所有节点都可见,因此可以用来做信息传递。

SOFATracer

01

TraceId 生成

TraceId 收集一次请求中的所有服务节点。其生成规则需要避免不同 TraceId 之间的冲突,并且开销不能很高,毕竟 Trace 链路的生成是业务逻辑之外的额外开销。SOFATracer 中的 TraceId 生成规则是:服务器 IP + 产生 ID 时候的时间 + 自增序列 + 当前进程号,比如:

0ad1348f1403169275002100356696

前 8 位 0ad1348f 即产生 TraceId 的机器的 IP,这是一个十六进制的数字,每两位代表 IP 中的一段,我们把这个数字,按每两位转成 10 进制即可得到常见的 IP 地址表示方式 10.209.52.143,大家也可以根据这个规律来查找到请求经过的第一个服务器。后面的 13 位 1403169275002 是产生 TraceId 的时间。之后的 4 位 1003 是一个自增的序列,从 1000 涨到 9000,到达 9000 后回到 1000 再开始往上涨。最后的 5 位 56696 是当前的进程 ID,为了防止单机多进程出现 TraceId 冲突的情况,所以在 TraceId 末尾添加了当前的进程 ID。

伪代码如下:

traceIdStr.append(ip).append(System.currentTimeMillis()).append(getNextId()).append(getPID());

02

SpanId 生成

SpanId 记录服务调用拓扑,在 SOFATracer 中:

  • 点代表调用深度;

  • 数字代表调用顺序;

  • SpanId 由客户端创建。

SOFATracer 中 TraceId 和 SpanId 的生成规则参考了阿里的鹰眼组件。

合并调用 Span 和被调 Span,结合 TraceId 和 SpanId 就能构建完整的服务调用拓扑:

03

Trace 埋点

但是,我们如何生成并获取到 Trace 数据呢?这就得 Trace 采集器(Instrumentation Framework)登场了,其负责:

  • Trace 数据的生成、传递和上报;

  • Trace 上下文的解析和注入。

并且 Trace 采集器还要做到自动、低侵入和低开销等。典型的 Trace 采集器结构如下,其在业务逻辑之前埋点

  1. Server Received (SR), 创建一个新的父 Span 或者从上下文中提取;

  2. 调用业务代码;

  3. 业务代码再次发起远程服务调用;

  4. Client Send (CS) 创建一个子 Span,传递 TraceId、SpanId 和透传数据;

  5. Client Received (CR), 结束当前子 Span,记录/上报 Span;

  6. Server Send (SS) 结束父 Span,记录/上报 Span。

步骤 3-5 可能没有,也可能重复多次。

埋点逻辑的实现多种多样,目前主流的有如下几种方式:

  • Filter,请求过滤器 (Dubbo, SOFARPC, Spring MVC);

  • AOP 切面 (DataSource, Redis, MongoDB);

    a.Proxy

    b.ByteCode generating

  • Hook 机制 (Spring Message, RocketMQ)。

Java 语言中,SkyWalking 和 PinPoint 都使用 javaagent 方式做到自动、无侵入埋点。典型的,SOFATracer 实现 Spring MVC 的 Trace 埋点如下:

SOFATracer 的 Span 100% 创建,只是 log/report 支持采样,相对来说,log/report 的 overhead 更高,更容易在大流量/负载下成为性能瓶颈。而其他 Trace 系统,Span 是采样生成的,但为了在调用出错的情况下能 100% 有 Trace,他们采用了逆向采样的策略。

SOFATracer 默认把 Trace 信息打印到日志文件中

  • client-digest:调用 Span;

  • server-digest:被调用 Span;

  • client-stat:一分钟内调用 Span 的数据聚合;

  • server-stat:一分钟内被调用 Span 的数据聚合。

默认日志格式是 JSON,但是可以定制。

APM

一个典型的 Trace 系统,除了 Trace 的采集上报之外,还会有收集器(Collector)、存储(Storage)和展示(API & UI):Application Performance Management,简称 APM,如下图所示:

图片来源:

https://pinpoint-apm.github.io/pinpoint/overview.html

Trace 数据上报一般要求包括实时性、一致性等,SOFATracer 默认支持  Zipkin 上报;在存储之前涉及到流式计算,调用 Span 和被调用 Span 的合并,一般采用 Alibaba JStorm 或者 Apache Flink;在处理完成之后会放到 Apache HBase 中,由于 Trace 数据只是短时间有用,因此一般会采取过期数据自动淘汰机制,过期时间一般是 7~10 天左右。最后的展示部分,从 HBase 中查询、分析需要支持:

  1. 有向无环图的图形化展示;

  2. 按照 TraceId 查询;

  3. 按照调用者查询;

  4. 按照被调用者查询;

  5. 按照 IP 查询。

图片来源:

https://pinpoint-apm.github.io/pinpoint/images/ss_server-map.png

在蚂蚁集团内部,我们没有采用 Span 上报,而是 Span 打印到日志之后按需采集,其架构如下:

(其中 Relic 和 Antique 不是真实的系统名。)

宿主机上有 DaemonSet Agent 用于采集 Trace 日志,digest 日志用于问题排查 & stat 日志用于业务监控,也就是要采集的日志内容。日志数据采集之后,会经过 Relic 系统处理:单机日志数据清理、聚合;再之后经过 Antique 系统的进一步的整合,通过 Spark 将 Trace 的服务数据做应用服务纬度的聚合。最后,我们将处理过后的 Trace 数据存到时序数据库 CeresDB 中,提供给 Web Console 查询和分析。这个系统还可以配置监控和报警,以便提前预警应用系统的异常。目前以上监控和报警可以做到准实时,有 1 分钟左右的延迟。

全链路追踪的发展一直在不断完善,功能不断丰富,现阶段涉及到的 Application Performance Management 不仅包含了全链路追踪的的完整能力,还包括:

  1. 存储 & 分析,丰富的终端特性;

  2. 全链路压测;

  3. 性能剖析;

  4. 监控 & 报警:CPU、内存和 JVM 信息等。

在蚂蚁集团内部,我们有专门的压测平台,平台发起压测流量的时候,会自带人为构造的 TraceId、SpanId 和透传数据(压测标志),实现日志分开打印。欢迎选用 SOFATracer 作为全链路追踪工具,SOFATracer 的快速开始指南 Link:

展望

SOFATracer 的未来发展规划如下,欢迎大家参与贡献!项目 Github 链接。

相关链接

SOFATracer 快速开始:

https://www.sofastack.tech/projects/sofa-tracer/component-access/

SOFATracer Github 项目:

https://github.com/sofastack/sofa-tracer

OpenTracing:

https://opentracing.io/

OpenTelemetry:

https://opentelemetry.io/

往期推荐

KCL:声明式的云原生配置策略语言

2021-08-03

蚂蚁集团万级规模 K8s 集群 etcd 高可用建设之路

2021-07-29

我们做出了一个分布式注册中心

2021-07-27

还在为多集群管理烦恼吗?OCM来啦!

2021-07-20

这篇关于蚂蚁集团 SOFATracer 原理与实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/614868

相关文章

Java编译生成多个.class文件的原理和作用

《Java编译生成多个.class文件的原理和作用》作为一名经验丰富的开发者,在Java项目中执行编译后,可能会发现一个.java源文件有时会产生多个.class文件,从技术实现层面详细剖析这一现象... 目录一、内部类机制与.class文件生成成员内部类(常规内部类)局部内部类(方法内部类)匿名内部类二、

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

《SpringBoot中定时任务Cron表达式的终极指南最佳实践记录》本文详细介绍了SpringBoot中定时任务的实现方法,特别是Cron表达式的使用技巧和高级用法,从基础语法到复杂场景,从快速启... 目录一、Cron表达式基础1.1 Cron表达式结构1.2 核心语法规则二、Spring Boot中定