Golang线上内存爆掉问题排查（pprof）

2024-03-30 16:04
文章标签 问题 golang 线上 内存 pprof 排查 爆掉

本文主要是介绍Golang线上内存爆掉问题排查（pprof），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Golang线上内存爆掉问题排查（pprof）

1 问题描述

某天，售后同事反馈，我们服务宕掉了，客户无法预览我们的图片了。

  • 我们预览图片是读取存储在我们S3服务的数据，然后返回给前端页面展示。
  • 因为客户存在几百M的图片，所以一旦请求并发一上来，很容易就把内存打爆。

2 pprof分析

声明： 涉及到数据敏感，以下代码是我模拟线上故障的一个情况。

好在我们程序都有添加pprof监控，于是直接通过go tool pprof分析:

①获取堆内存分配情况:go tool pprof http://xx/debug/pprof/heap

# localhost直接改成自己程序的IP：端口
go tool pprof http://localhost:80/debug/pprof/heap

在这里插入图片描述

②过滤出占用堆内存前10的方法：top 10

# 过滤占用堆内存排名前10方法
top 10

在这里插入图片描述

参数解析：

  • flat：表示此函数分配、并由该函数持有的内存空间。
  • cum：表示由这个函数或它调用堆栈下面的函数分配的内存总量。

③查看方法详情：list testReadAll

可以看到我们自己程序的方法是main包下面的testAll方法占用了875MB多内存。

# 查看方法详情
list testReadAll

在这里插入图片描述

最后定位到ioutil.ReadAll这个方法占用了太多内存。

  • 熟悉的朋友都清楚，ioutil.ReadAll是直接将文件或者流数据一次性读取到内存里。如果文件过大或者多个请求同事读取多个文件，会直接将服务器内存打爆。

因为我们的客户有几百M的图片，所以一旦并发以上来很可能打爆。因此这里需要改成流式的io.Copy。

3 解决：改用流式io.Copy()

定位到问题后，直接改用流式方式给前端返回。

_, err = io.Copy(ctx.ResponseWriter(), file)

🚀：由于这次新人的失误，加上测试数据量不够大，导致出现线上问题，所以大家以后还是要多review代码+增加压力测试。

4 本地测试io.Copy与ioutil.ReadAll

  1. 编写demo代码
package mainimport ("github.com/kataras/iris/v12""github.com/kataras/iris/v12/context""io""io/ioutil""net/http"_ "net/http/pprof""os"
)func main() {app := iris.New()go func() {http.ListenAndServe(":80", nil)}()//readAllapp.Get("/readAll", testReadAll)//io.Copyapp.Get("/ioCopy", func(ctx *context.Context) {file, err := os.Open("/Users/ziyi2/GolandProjects/MyTest/demo_home/io_copy_demo/xx.zip")if err != nil {panic(err)}defer file.Close()_, err = io.Copy(ctx.ResponseWriter(), file)if err != nil {panic(err)}})app.Listen(":8080", nil)
}func testReadAll(ctx *context.Context) {file, err := os.Open("/Users/ziyi2/GolandProjects/MyTest/demo_home/io_copy_demo/xx.zip")if err != nil {panic(err)}defer file.Close()//simulate onLine errbytes, err := ioutil.ReadAll(file)if err != nil {panic(err)}_, err = ctx.Write(bytes)if err != nil {panic(err)}
}
  1. 打开资源监视器，同时发起readAll请求，观察内存占用
  • 发起readAll请求前
    在这里插入图片描述
  • 发送readAll请求
localhost:8080/readAll

我本地是模拟读取差不多1G左右的文件，可以看到ioutil.ReadAll直接一次性将内容读取到了内存。（一旦并发量上来，或者图片文件超大，后果不敢想象）
在这里插入图片描述
3. 再观察io.Copy方法

  • 发送ioCopy请求
localhost:8080/ioCopy
  • 流式传输，最后程序内存并没有暴涨
    在这里插入图片描述
    在这里插入图片描述

结论：

ioutil.ReadAll：会将数据一次性加载到内存。
io.Copy：流式拷贝，不会导致内存暴涨
因此对于大文件或者数据量不确定的场景推荐使用io.Copy

拓展：pprof使用

① 引入pprof

  1. 引入pprof包
  2. 开启一个协程监听
package mainimport ("github.com/kataras/iris/v12""github.com/kataras/iris/v12/context""net/http"_ "net/http/pprof""os"
)func main() {app := iris.New()go func() {http.ListenAndServe(":80", nil)}()app.Listen(":8080", nil)
}

②查看分析报告

1 浏览器直接访问
http://IP:Port/debug/pprof

在这里插入图片描述

2 go tool 命令行直接分析
# 查看堆内存信息
go tool pprof http://IP:Port/debug/pprof/heap# 查看cpu信息
go tool pprof http://IP:Port/debug/pprof/profile## -seconds=5设置采样时间为5s
# go tool pprof -seconds=5 http://IP:Port/debug/pprof/profile# 查看协程信息
go tool pprof http://IP:Port/debug/pprof/goroutine# 查看代码阻塞信息
go tool pprof http://IP:Port/debug/pprof/block# 需要查看什么信息将URL默认的Type更换为对应类型即可

-seconds=30 设置采样30s，也可以自定义时间范围。需要注意的是，对于profile而言，总是需要采样一段时间，才可以看到数据。而其他历史累计的数据，则可以直接获取从程序开始运行到现在累积的数据，也可以设置-seconds来获取一段时间内的累计数据。而其他实时变化的指标，设置这个参数没什么用，只会让你多等一会。

  1. allocs: A sampling of all past memory allocations【所有内存分配，历史累计】
  2. block: Stack traces that led to blocking on synchronization primitives【导致阻塞同步的堆栈，历史累计】
  3. cmdline: The command line invocation of the current program【当前程序命令行的完整调用路径】
  4. goroutine: Stack traces of all current goroutines. Use debug=2 as a query parameter to export in the same format as an unrecovered panic.【当前所有运行的goroutine堆栈信息，实时变化】
  5. heap: A sampling of memory allocations of live objects. You can specify the gc GET parameter to run GC before taking the heap sample.【查看活动对象的内存分配情况，实时变化】
  6. mutex: Stack traces of holders of contended mutexes【导致互斥锁竞争持有者的堆栈跟踪，历史累计】
  7. profile: CPU profile. You can specify the duration in the seconds GET parameter. After you get the profile file, use the go tool pprof command to investigate the profile.【默认进行30s的CPU Profing，用于观察CPU使用情况】
  8. threadcreate: Stack traces that led to the creation of new OS threads【查看创建新OS线程的堆栈跟踪信息】
  9. trace: A trace of execution of the current program. You can specify the duration in the seconds GET parameter. After you get the trace file, use the go tool trace command to investigate the trace.【当前程序执行链路】

注意:默认情况下是不追踪block和mutex的信息的，如果想要看这两个信息，需要在代码中加上两行：

runtime.SetBlockProfileRate(1) // 开启对阻塞操作的跟踪，block  
runtime.SetMutexProfileFraction(1) // 开启对锁调用的跟踪，mutex
3 导出为.out文件+命令行分析（推荐）

推荐使用导出文件方式，虽然步骤繁琐，但是有文件落地，保证重要数据不会丢失

//导出为文件
curl -o heap.out http://IP:Port/debug/pprof/heap//解析文件并进入命令行交互
go tool pprof heap.out
//后续操作就和命令行直接分析如出一辙//top 10 
//list funcName

在这里插入图片描述

③参数解析

1 采样类型
allocs：所有内存分配，历史累计

allocs: A sampling of all past memory allocations【所有内存分配，历史累计】

block：导致阻塞同步的堆栈信息，历史累计（每发生一次阻塞取样一次）

block: Stack traces that led to blocking on synchronization primitives【导致阻塞同步的堆栈，历史累计】

  • Block Goroutine阻塞事件的记录 默认每发生一次阻塞事件时取样一次
cmdline：程序命令行的完整调用路径

cmdline: The command line invocation of the current program【当前程序命令行的完整调用路径】

goroutine：当前程序运行的所有goroutine，实时变化（获取时取样一次）

goroutine: Stack traces of all current goroutines. Use debug=2 as a query parameter to export in the same format as an unrecovered panic.【当前所有运行的goroutine堆栈信息，实时变化】

  • 活跃Goroutine信息的记录 仅在获取时取样一次
heap：查看堆内存分配情况，实时变化（每分配512K取样一次）

heap: A sampling of memory allocations of live objects. You can specify the gc GET parameter to run GC before taking the heap sample.【查看活动对象的内存分配情况，实时变化】

  • Heap 堆内存分配情况的记录 默认每分配512K字节时取样一次
mutex：导致互斥锁竞争的堆栈跟踪，历史累计

mutex: Stack traces of holders of contended mutexes【导致互斥锁竞争持有者的堆栈跟踪，历史累计】

profile：CPU使用情况

profile: CPU profile. You can specify the duration in the seconds GET parameter. After you get the profile file, use the go tool pprof command to investigate the profile.【默认进行30s的CPU Profing，用于观察CPU使用情况】

threadcreate：创建新线程的堆栈信息（获取时取样）

threadcreate: Stack traces that led to the creation of new OS threads【查看创建新OS线程的堆栈跟踪信息】

  • 系统线程创建情况的记录 仅在获取时取样一次
trace：程序整个执行链路

trace: A trace of execution of the current program. You can specify the duration in the seconds GET parameter. After you get the trace file, use the go tool trace command to investigate the trace.【当前程序执行链路】

注意:默认情况下是不追踪block和mutex的信息的，如果想要看这两个信息，需要在代码中加上两行：

runtime.SetBlockProfileRate(1) // 开启对阻塞操作的跟踪，block  
runtime.SetMutexProfileFraction(1) // 开启对锁调用的跟踪，mutex
2 统计维度（以内存取样为例）

如果是初次接触pprof，可能会疑惑flat、sum、cum代表什么意思

在这里插入图片描述
官网解析：

  • The first two columns show the number of samples in which the function was running (as opposed to waiting for a called function to return), as a raw count and as a percentage of total samples.

  • The third column shows the running total during the listing.

  • The fourth and fifth columns show the number of samples in which the function appeared (either running or waiting for a called function to return). To sort by the fourth and fifth columns, use the -cum (for cumulative) flag.

  • 官网地址：https://go.dev/blog/pprof

以获取内存为例：

flat：当前函数分配的内存，不包含它调用其他函数造成的内存分配
flat%：当前函数分配内存占比
sum%：自己和前面所有的flat%累积值
cum：当前函数及当前函数调用其他函数的分配内存的汇总
cum%：这个函数分配的内存，以及它调用其他函数分配的内存之和

这篇关于Golang线上内存爆掉问题排查（pprof）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/861933。

相关文章

NameNode内存生产配置

NameNode内存生产配置

Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m ，如果服务器内存 4G ， NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列，配置 Nam
阅读更多...
好题——hdu2522（小数问题：求1/n的第一个循环节）

好题——hdu2522（小数问题：求1/n的第一个循环节）

好喜欢这题，第一次做小数问题，一开始真心没思路，然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数，不能写作两整数之比*****************************（一开始没想到，小学没学好） 此题1/n肯定是一个有限循环小数，了解这些后就能做此题了。 按照除法的机制，用一个函数表示出来就可以了，代码如下
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
如何解决线上平台抽佣高 线下门店客流少的痛点！

如何解决线上平台抽佣高 线下门店客流少的痛点！

目前，许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流，但其费用昂贵。鉴于此，众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台，但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下，商家之间的合作网络逐渐成为一种有效的解决方案，通过资源和客户基础的共享，实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例，该平台融合了环保消费积分系统，在短
阅读更多...
购买磨轮平衡机时应该注意什么问题和技巧

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时，您应该注意以下几个关键点： 平衡精度 平衡精度是衡量平衡机性能的核心指标，直接影响到不平衡量的检测与校准的准确性，从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声，提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮，适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监
阅读更多...
缓存雪崩问题

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库，瞬间耗尽数据库资源，导致数据库无法使用。 解决方案： 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内，大量缓存数据同时失效，导致所有请求直接涌向数据库，瞬间增加数据库的负载压力，可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k
阅读更多...
6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

6.1.数据结构-c/c++堆详解下篇（堆排序，TopK问题）

上篇：6.1.数据结构-c/c++模拟实现堆上篇（向下，上调整算法，建堆，增删数据）-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小)： 2.2 C语言代码（手写堆） 2.3 C++代码（使用优先级队列 priority_queue）
阅读更多...
【VUE】跨域问题的概念，以及解决方法。

【VUE】跨域问题的概念，以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略，该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同，则需要服务器显式地允许这种跨域请求。一般在springbo
阅读更多...
题目1254：N皇后问题

题目1254：N皇后问题

题目1254：N皇后问题 时间限制：1 秒 内存限制：128 兆 特殊判题：否 题目描述： N皇后问题，即在N*N的方格棋盘内放置了N个皇后，使得它们不相互攻击（即任意2个皇后不允许处在同一排，同一列，也不允许处在同一斜线上。因为皇后可以直走，横走和斜走如下图)。 你的任务是，对于给定的N，求出有多少种合法的放置方法。输出N皇后问题所有不同的摆放情况个数。 输入
阅读更多...
vscode中文乱码问题，注释，终端，调试乱码一劳永逸版

vscode中文乱码问题，注释，终端，调试乱码一劳永逸版

忘记咋回事突然出现了乱码问题，很多方法都试了，注释乱码解决了，终端又乱码，调试窗口也乱码，最后经过本人不懈努力，终于全部解决了，现在分享给大家我的方法。 乱码的原因是各个地方用的编码格式不统一，所以把他们设成统一的utf8. 1.电脑的编码格式 开始-设置-时间和语言-语言和区域 管理语言设置-更改系统区域设置-勾选Bata版：使用utf8-确定-然后按指示重启 2.vscode
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2