pm2源码分析

2024-09-01 11:58
文章标签 分析 源码 pm2

本文主要是介绍pm2源码分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

原文链接:https://www.jianshu.com/p/ac843b516fda

Node Cluster
Nodejs的设计架构和nginx类似,是多进程单线程模型。由于Node单线程的限制,在多核服务器上,需启动多个进程才能最大化地利用服务器的性能。Node V0.8以后引入了cluster模块,它通过一个主进程(Master)管理多个子进程(Worker)的方式实现集群功能。 下面是一个简单的例子:

// master
var cluster = require(‘cluster’);
var numCPUs = require(‘os’).cpus().length;

if (cluster.isMaster) {
console.log(numCPUs);
for (var i = 0; i < numCPUs; i++) {
var worker = cluster.fork();
}
} else {
require("./app.js");
}

// worker
var http = require(‘http’);
http.createServer(function(req, res) {
res.writeHead(200);
res.end(“hello world\n”);
}).listen(8000);
通信
主进程和子进程之间通过IPC(Inter-Process Communication,进程间通信)实现进程间的通信。进程间通过send方法发送信息,通过监听message事件收取信息,这和cluster模块继承的EventEmitter对象是一致的:

// master
// 监听子进程的事件
worker.on(‘message’, function(message) {
console.log(message.from + ': ’ + message.type + ’ ’ + message.data.number + ’ = ’ + message.data.result);
});
// 往子进程中发送消息
for(var wid in cluster.workers) {
cluster.workers[wid].send({
type: ‘masterToWorker’,
from: ‘master’,
data: {
number: Math.floor(Math.random() * 50)
}
});
}

// worker
// 子进程监听事件 并发送回主进程
process.on(‘message’, function(message) {
if(message.type === ‘masterToWorker’) {
process.send({
type:‘workerTomaster’,
from: 'Worker ’ + process.pid,
data: {}
});
}
});
负载均衡
通过例子可知,子进程是通过cluster.fork()方法实现的。linux的fork是系统提供的产生进程的方法,那么为什么需要借助cluster去实现集群,而不直接fork呢?这里的问题概括为两个:

fork的进程监听统一端口,会报端口暂用的错误
fork的进程之间由于没有负载均衡,容易把请求集中到一个或者几个进程上,从而造成惊群问题
对于问题1,cluster模块对net模块进行hack处理,如果是Master进程,那么监听端口;若是Worker进程,那么不会监听。
对于问题2,cluster自带了负载均衡功能。Master进程负责接收请求,然后根据调度算法转发给某一个子进程。默认的调度算法是round-robin,也就是把请求依次分给每个子进程,每个子进程处理的请求数是相同的。 可以通过环境变量修改调度算法:

env NODE_CLUSTER_SCHED_POLICY=“none” node app.js
在 通过源码解析 Node.js 中 cluster 模块的主要功能实现 这边文章中有对这问题1的详细分析。

pm2
pm2基于cluster进行了封装,它能自动监控进程状态、重启进程、停止不稳定的进程(避免无限循环)等。利用pm2时,可以在不修改代码(如果自己实现,需要参考上面的例子进行修改)的情况下实现负载均衡集群。 具体的用法可以参见官网 或者 PM2 介绍。

pm2源码
pm2的源码地址是 https://github.com/Unitech/pm2 。bin文件夹下的pm2文件,负责处理命令行输入;lib文件夹下的 Satan.js 和 God.js 存放主要逻辑,前者要调用后者的方法。

源码结构
先来一张pm2的架构图:

框架图.png
pm2包括 Satan进程、God Deamon守护进程、进程间的远程调用rpc、cluster等几个概念:

如果不知道点西方文化,还真搞不清他的文件名为啥是 Satan 和 God:
撒旦(Satan),主要指《圣经》中的堕天使(也称堕天使撒旦),被看作与上帝的力量相对的邪恶、黑暗之源,是God的对立面。

Satan.js提供了程序的退出、杀死等方法,因此它是魔鬼;God.js 负责维护进程的正常运行,当有异常退出时能保证重启,所以它是上帝。作者这么命名,我只能说一句:oh my god。
God进程启动后一直运行,它相当于cluster中的Master进程,守护者worker进程的正常运行。

rpc(Remote Procedure Call Protocol)是指远程过程调用,也就是说两台服务器A,B,一个应用部署在A服务器上,想要调用B服务器上应用提供的函数/方法,由于不在一个内存空间,不能直接调用,需要通过网络来表达调用的语义和传达调用的数据。同一机器不同进程间的方法调用也属于rpc的作用范畴。
代码中采用了axon-rpc 和 axon 两个库,基本原理是提供服务的server绑定到一个域名和端口下,调用服务的client连接端口实现rpc连接。 后续新版本采用了pm2-axon-rpc 和 pm2-axon两个库,绑定的方法也由端口变成.sock文件,因为采用port可能会和现有进程的端口产生冲突。
执行流程
程序的执行流程图如下:

执行流程.png
每次命令行的输入都会执行一次satan程序。如果God进程不在运行,首先需要启动God进程。然后根据指令,satan通过rpc调用God中对应的方法执行相应的逻辑。
以 pm2 start app.js -i 4为例,God在初次执行时会配置cluster,同时监听cluster中的事件:

// 配置cluster
cluster.setupMaster({
exec : path.resolve(path.dirname(module.filename), ‘ProcessContainer.js’)
});

// 监听cluster事件
(function initEngine() {
cluster.on(‘online’, function(clu) {
// worker进程在执行
God.clusters_db[clu.pm_id].status = ‘online’;
});

// 命令行中 kill pid 会触发exit事件,process.kill不会触发exit
cluster.on(‘exit’, function(clu, code, signal) {
// 重启进程 如果重启次数过于频繁直接标注为stopped
God.clusters_db[clu.pm_id].status = ‘starting’;

// 逻辑
...

});
})();
在God启动后, 会建立Satan和God的rpc链接,然后调用prepare方法。prepare方法会调用cluster.fork,完成集群的启动:

God.prepare = function(opts, cb) {

return execute(opts, cb);
};
function execute(env, cb) {

var clu = cluster.fork(env);

God.clusters_db[id] = clu;

clu.once(‘online’, function() {
God.clusters_db[id].status = ‘online’;
if (cb) return cb(null, clu);
return true;
});

return clu;
}
执行结果
在linux中,通过 ps aux | grep node 可以看到运行中的node进程:

node进程.png

我一直在想为啥pm2没有master进程,后来读了源码才知道它的master进程就是Deamon进程,而且进程名字也做了修改。由于ps aux | grep ** 这个指令对大小写敏感,所以要大写的PM才能找到:
God Deamon进程.png
小技巧
分享几个在阅读pm2源码时,可能用到的小技巧:

如何调试源码
在源码 package.json 文件中可以看到 bin 这个属性,通过npm安装后,就可以执行pm2这个指令。
pm2的执行环境是node,如果想本地运行pm2源码,可以采用如下方式启动:
node /pm2文件路径/bin/pm2 要启动的服务(app.js)
根据上面的配置,实现pm2的启动。别忘了Webstorm这个前端利器。

多进程调试
由于cluster是多进程模式,如果对子进程进行调试,需要在启动子进程时添加调试参数。在源码中fork()的地方添加如下参数,同时要注意端口冲突:
fork(‘worker.js’, [], {
env: {},
silent : false,
execArgv: [’–debug-brk=13789’] // 子进程调试端口设置
})
如何读源码
pm2工程从13年开始已经有了很多个版本的演进。如果拿最新版本的源码去读,由于它包含了很多辅助功能,往往会被搞的头晕眼花。
我选择从第一个稳定版本(tag 为0.4.10)入手分析其基本执行原理,这个版本的功能比较简单,也是程序结构最清晰的时候。
可以通过 git tag 和 git checkout *** 切换到特定版本,然后debug 运行调试分析。
总结
pm2也是采用cluster.fork实现的集群,这也就是所谓的万变不离其宗。由于God Deamon这个Master进程一直执行,可以保证对每一个子进程监听事件,从而进行相应的操作。

参考文章
解读Node.js的cluster模块
关于pm2的fork启动模式和cluster模式的区别
Node.js clustering made easy with PM2
TODO:浅谈pm2基本工作原理
通过源码解析 Node.js 中 cluster 模块的主要功能实现

作者:狐尼克朱迪
链接:https://www.jianshu.com/p/ac843b516fda
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

这篇关于pm2源码分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1126869

相关文章

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式:MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

C#使用DeepSeek API实现自然语言处理,文本分类和情感分析

《C#使用DeepSeekAPI实现自然语言处理,文本分类和情感分析》在C#中使用DeepSeekAPI可以实现多种功能,例如自然语言处理、文本分类、情感分析等,本文主要为大家介绍了具体实现步骤,... 目录准备工作文本生成文本分类问答系统代码生成翻译功能文本摘要文本校对图像描述生成总结在C#中使用Deep

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

Java汇编源码如何查看环境搭建

《Java汇编源码如何查看环境搭建》:本文主要介绍如何在IntelliJIDEA开发环境中搭建字节码和汇编环境,以便更好地进行代码调优和JVM学习,首先,介绍了如何配置IntelliJIDEA以方... 目录一、简介二、在IDEA开发环境中搭建汇编环境2.1 在IDEA中搭建字节码查看环境2.1.1 搭建步

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

锐捷和腾达哪个好? 两个品牌路由器对比分析

《锐捷和腾达哪个好?两个品牌路由器对比分析》在选择路由器时,Tenda和锐捷都是备受关注的品牌,各自有独特的产品特点和市场定位,选择哪个品牌的路由器更合适,实际上取决于你的具体需求和使用场景,我们从... 在选购路由器时,锐捷和腾达都是市场上备受关注的品牌,但它们的定位和特点却有所不同。锐捷更偏向企业级和专