Node.js使用jemalloc内存分配器显著减少内存使用

2024-01-01 19:28

本文主要是介绍Node.js使用jemalloc内存分配器显著减少内存使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

Node.js 默认使用的是 ptmalloc(glibc) 内存分配器,而:

在服务端领域「不会选择默认的 malloc」是一个常识。( 来源 )

ptmalloc 的分配效率较低( 来源 ),对于 长时间、多核 / 多线程 运行的程序( 来源 ),特别适合使用 jemalloc 分配器,使用 jemalloc 分配内存可以更好的处理 内存碎片 问题( 来源 )。

jemalloc 并不总是最优的( 来源 ),但十分适合服务端 Node.js 程序使用。

正文

Linux
 # installsudo apt-get updatesudo apt-get install -y libjemalloc-dev# run# 启动的时候添加 jemalloc 分配器,`LD_PRELOAD` 的格式是以空格为分割。LD_PRELOAD="/usr/lib/x86_64-linux-gnu/libjemalloc.so $LD_PRELOAD" node index.js

jemalloc 写入 ld.so.preload 可以让所有写入之后运行的进程默认使用 jemalloc 分配器,一般没必要,除非你有会启动多个进程的场景:

echo "/usr/lib/x86_64-linux-gnu/libjemalloc.so" >> /etc/ld.so.preload

检验对应的 node 进程是否正确使用了 jemalloc

  # 使用 top 等工具找到对应 node 进程的 pid 再查询即可sudo cat /proc/<PID OF NODEJS>/smaps | grep jemalloc
macOS
  # installbrew install jemalloc# run# 在具体使用时 `${version}` 版本号的部分换成你自己安装的即可DYLD_INSERT_LIBRARIES=/usr/local/Cellar/jemalloc/5.3.0/lib/libjemalloc.dylib node index.js#                                                ^ ${version}
检验脚本

运行以下脚本可以测试 jemalloc 是否生效,默认情况下会使用多达 4 G 内存,若使用 jemalloc ,则使用内存会大大减少至几十 M 。

注:不要在内存不足 8 G 的服务器上运行,剩余内存不够会直接宕机。

// index.jsconst bs = 4 * 1024 * 1024; // 4 MiB
const retained = [];
let i = 0, flag = false;function tick() {i++;if (i % 1000 === 0) {console.log(`RSS [${i}]: ${process.memoryUsage().rss / 1024 / 1024} MiB`);}retained.push(Buffer.allocUnsafe(bs));if (i === 5000) {console.log('Clearing retained and enabling alloc');retained.length = 0;flag = true;}if (flag) Buffer.alloc(bs); // Buffer.alloc(bs - 10) seems to be fine hereif (i < 10000) setImmediate(tick);
}tick();

例子

个人例子:使用 jemalloc 后,在我的服务端程序上原持续占用 900 M 内存的程序,现会在 200 M900 M 之间波动,可以看到回收效率显著提高,在调用需求下降时(如半夜),内存使用大幅减少:

经典例子:npmmirror 使用 jemalloc 大幅减少占用内存。( 来源 )

总结

对于 长时间、多进程 的 Node.js 服务端程序,我们可以切换至 jemalloc 内存分配器提高内存回收效率,特别对于易产生内存碎片(如大量 JSON 序列化)的场景,格外有效。

实践中,修订容器脚本,在镜像构建时运行对应的命令即可。

这篇关于Node.js使用jemalloc内存分配器显著减少内存使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/560265

相关文章

Python使用PIL库将PNG图片转换为ICO图标的示例代码

《Python使用PIL库将PNG图片转换为ICO图标的示例代码》在软件开发和网站设计中,ICO图标是一种常用的图像格式,特别适用于应用程序图标、网页收藏夹图标等场景,本文将介绍如何使用Python的... 目录引言准备工作代码解析实践操作结果展示结语引言在软件开发和网站设计中,ICO图标是一种常用的图像

使用Java发送邮件到QQ邮箱的完整指南

《使用Java发送邮件到QQ邮箱的完整指南》在现代软件开发中,邮件发送功能是一个常见的需求,无论是用户注册验证、密码重置,还是系统通知,邮件都是一种重要的通信方式,本文将详细介绍如何使用Java编写程... 目录引言1. 准备工作1.1 获取QQ邮箱的SMTP授权码1.2 添加JavaMail依赖2. 实现

MyBatis与其使用方法示例详解

《MyBatis与其使用方法示例详解》MyBatis是一个支持自定义SQL的持久层框架,通过XML文件实现SQL配置和数据映射,简化了JDBC代码的编写,本文给大家介绍MyBatis与其使用方法讲解,... 目录ORM缺优分析MyBATisMyBatis的工作流程MyBatis的基本使用环境准备MyBati

使用Python开发一个图像标注与OCR识别工具

《使用Python开发一个图像标注与OCR识别工具》:本文主要介绍一个使用Python开发的工具,允许用户在图像上进行矩形标注,使用OCR对标注区域进行文本识别,并将结果保存为Excel文件,感兴... 目录项目简介1. 图像加载与显示2. 矩形标注3. OCR识别4. 标注的保存与加载5. 裁剪与重置图像

使用Python实现表格字段智能去重

《使用Python实现表格字段智能去重》在数据分析和处理过程中,数据清洗是一个至关重要的步骤,其中字段去重是一个常见且关键的任务,下面我们看看如何使用Python进行表格字段智能去重吧... 目录一、引言二、数据重复问题的常见场景与影响三、python在数据清洗中的优势四、基于Python的表格字段智能去重

使用Apache POI在Java中实现Excel单元格的合并

《使用ApachePOI在Java中实现Excel单元格的合并》在日常工作中,Excel是一个不可或缺的工具,尤其是在处理大量数据时,本文将介绍如何使用ApachePOI库在Java中实现Excel... 目录工具类介绍工具类代码调用示例依赖配置总结在日常工作中,Excel 是一个不可或缺的工http://

Java之并行流(Parallel Stream)使用详解

《Java之并行流(ParallelStream)使用详解》Java并行流(ParallelStream)通过多线程并行处理集合数据,利用Fork/Join框架加速计算,适用于大规模数据集和计算密集... 目录Java并行流(Parallel Stream)1. 核心概念与原理2. 创建并行流的方式3. 适

Golang基于内存的键值存储缓存库go-cache

《Golang基于内存的键值存储缓存库go-cache》go-cache是一个内存中的key:valuestore/cache库,适用于单机应用程序,本文主要介绍了Golang基于内存的键值存储缓存库... 目录文档安装方法示例1示例2使用注意点优点缺点go-cache 和 Redis 缓存对比1)功能特性

如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件

《如何使用Docker部署FTP和Nginx并通过HTTP访问FTP里的文件》本文介绍了如何使用Docker部署FTP服务器和Nginx,并通过HTTP访问FTP中的文件,通过将FTP数据目录挂载到N... 目录docker部署FTP和Nginx并通过HTTP访问FTP里的文件1. 部署 FTP 服务器 (

MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

《MySQL日期时间格式化函数DATE_FORMAT()的使用示例详解》`DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期... 目录一、DATE_FORMAT()语法二、格式化字符串详解三、常见日期时间格式组合四、业务场景五、总结一、