php swoole gearman,swoole-jobs

2023-10-12 21:59
文章标签 php swoole gearman jobs

本文主要是介绍php swoole gearman,swoole-jobs,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

swoole-jobs

基于swoole类似gearman的分布式任务处理系统

高性能/动态多woker进程消费队列,加速后端耗时服

无需像gearman一个worker配置一条crontab,swoole-jobs负责管理所有worker状态

独立的swoole http api 入队列,api不依赖php-fpm

1. 说明

web中较慢的逻辑,比如统计/email/短信/图片处理等;

支持redis/rabbitmq/zeromq等任何一种做队列消息存储;

比yii/laravel等框架自带队列更稳定更快[消费进程可动态变化]

自带yii2/phalcon/yaf/ThinkPHP5集成示例,其他框架可参考src/Action代码,

2. 架构图

3497d255a2ed449fd439ab5be69baca6.png

9841faaadc95d67c693fc7f35befb18d.png

3. 特性

基于swoole的job调度组件;类似gearman的分布式任务处理系统;

redis/rabbitmq/zeromq等任何一种做队列消息存储(目前只实现redis/rabbitmq);

利用swoole的process实现多进程管理,进程个数可配置,worker进程退出后会自动拉起;

子进程循环次数可配置,防止业务代码内存泄漏;默认stop命令会等待子进程平滑退出;

支持topic特性,不同的job绑定不同的topic;

每个topic启动对应数量的子进程,杜绝不同topic之间相互影响;

根据队列积压情况,子进程动态启动进程数,最大子进程个数可配置;

支持composer,可以跟任意框架集成;

日志文件自动切割,默认最大100M,最多5个日志文件,防止日志刷满磁盘;

出现积压情况,支持钉钉机器人等消息提醒;

4. 安装

4.1 composer

git clone https://github.com/kcloze/swoole-jobs.git

cd swoole-jobs

composer install

4.2 docker

cd swoole-jobs and composer install

根据根目录Dockerfile构建镜像

docker build -t swoole-jobs .

docker run -it -v ~/data/code/php:/data swoole-jobs /bin/bash

进入容器之后,进入项目目录:

php ./bin/swoole-jobs.php start

5. 运行

5.1 示范

1.修改配置config.php

2.启动服务

php ./bin/swoole-jobs.php start >> log/system.log 2>&1

3.往队列推送任务

php ./tests/testJobsSerialzie.php

4.启动api服务

php ./bin/swoole-jobs.php http start

5.停止api服务

php ./bin/swoole-jobs.php http stop

5.2 启动参数说明

NAME

- manage swoole-jobs

SYNOPSIS

-php ./bin/swoole-jobs.php app [options]

-Manage swoole-jobs daemons.

WORKFLOWS

-help [command]

-Show this help, or workflow help for command.

-restart

-Stop, then start swoole-jobs master and workers.

-start

-Start swoole-jobs master and workers.

-stop

-Wait all running workers smooth exit, please check swoole-jobs status for a while.

-exit

-Kill all running workers and master PIDs.

-http start

-Start swoole http server for apis.

-http stop

-Stop swoole http server for api.

5.3 API parameter description

5.3.1 api url

5.3.2 api params:

Params

Type

Demo

jobData

json

{"topic":"MyJob","jobClass":"\Kcloze\Jobs\Jobs\MyJob","jobMethod":"test2","jobParams":["kcloze",1532857253,"oop"],"jobExtras":[],"serializeFunc":"php"}

6. 服务管理

线上启动和关闭服务,有两种方式:

6.1 启动脚本加入到crontab定时任务,每分钟执行一次(swoole-jobs会自动检查是否在执行,避免重复启动)

* * * * * /usr/local/bin/php /***/swoole-jobs.php start >> /***/log/system.log 2>&1

6.2 使用systemd管理(故障重启、开机自启动)

1. 根据自己项目路径,修改 docs/systemd/swoole-jobs.service

2. sudo cp -f systemd/swoole-jobs.service /etc/systemd/system/

3. sudo systemctl --system daemon-reload

4. 服务管理

#启动服务

sudo systemctl start swoole-jobs.service

#reload服务

sudo systemctl reload swoole-jobs.service

#关闭服务

sudo systemctl stop swoole-jobs.service

7.系统截图

htop截图

27f8d9a02867100db9130881aca87cb0.png

status

9d7cbe504e248fe96b90bcc6382f0ac4.png

钉钉提醒

30a9023e208152aa8148695a9ba4809a.png

8. change log

9. 注意事项

如果嵌入自己的框架,可参考src/Action代码,继承抽象类Kcloze\Jobs\Action\BaseAction

各种框架服务启动会稍有不同,具体参考:example/bin项目的代码

swoole 4 以上版本需要设置php.ini,关闭协程

10. 压测

瓶颈: redis/rabbitmq队列存储本身和job执行速度

11. 感谢

12. 联系

qq群:141059677

13. 捐赠

如果这个项目真的帮助到你,麻烦点击右上角给个star

这篇关于php swoole gearman,swoole-jobs的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/198757

相关文章

PHP执行php.exe -v命令报错的解决方案

《PHP执行php.exe-v命令报错的解决方案》:本文主要介绍PHP执行php.exe-v命令报错的解决方案,文中通过图文讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下... 目录执行phpandroid.exe -v命令报错解决方案执行php.exe -v命令报错-PHP War

PHP原理之内存管理中难懂的几个点

PHP的内存管理, 分为俩大部分, 第一部分是PHP自身的内存管理, 这部分主要的内容就是引用计数, 写时复制, 等等面向应用的层面的管理. 而第二部分就是今天我要介绍的, zend_alloc中描写的关于PHP自身的内存管理, 包括它是如何管理可用内存, 如何分配内存等. 另外, 为什么要写这个呢, 因为之前并没有任何资料来介绍PHP内存管理中使用的策略, 数据结构, 或者算法. 而在我们

php中json_decode()和json_encode()

1.json_decode() json_decode (PHP 5 >= 5.2.0, PECL json >= 1.2.0) json_decode — 对 JSON 格式的字符串进行编码 说明 mixed json_decode ( string $json [, bool $assoc ] ) 接受一个 JSON 格式的字符串并且把它转换为 PHP 变量 参数 json

如何将文件夹里的PHP代码放到一个文件里

find ./dir -name "*.php" -exec 'cat' {} \; > dir.out

PHP抓取网站图片脚本

方法一: <?phpheader("Content-type:image/jpeg"); class download_image{function read_url($str) { $file=fopen($str,"r");$result = ''; while(!feof($file)) { $result.=fgets($file,9999); } fclose($file); re

PHP防止SQL注入详解及防范

SQL 注入是PHP应用中最常见的漏洞之一。事实上令人惊奇的是,开发者要同时犯两个错误才会引发一个SQL注入漏洞。 一个是没有对输入的数据进行过滤(过滤输入),还有一个是没有对发送到数据库的数据进行转义(转义输出)。这两个重要的步骤缺一不可,需要同时加以特别关注以减少程序错误。 对于攻击者来说,进行SQL注入攻击需要思考和试验,对数据库方案进行有根有据的推理非常有必要(当然假设攻击者看不到你的

PHP防止SQL注入的方法(2)

如果用户输入的是直接插入到一个SQL语句中的查询,应用程序会很容易受到SQL注入,例如下面的例子: $unsafe_variable = $_POST['user_input'];mysql_query("INSERT INTO table (column) VALUES ('" . $unsafe_variable . "')"); 这是因为用户可以输入类似VALUE”); DROP TA

PHP防止SQL注入的方法(1)

(1)mysql_real_escape_string – 转义 SQL 语句中使用的字符串中的特殊字符,并考虑到连接的当前字符集 使用方法如下: $sql = "select count(*) as ctr from users where username ='".mysql_real_escape_string($username)."' and password='". mysql_r

Linux系统安装php开发环境

Linux系统centos6.5 PHP5.6 MySQL5.6 Nginx1.7 yum安装依赖库 yum install -y make cmake gcc gcc-c++ autoconf automake libpng-devel libjpeg-devel zlib libxml2-devel ncurses-devel bison \libtool-ltdl-devel li

PHP字符串全排列

方法一: $str = 'abc';$a =str_split($str);perm($a, 0, count($a)-1);function perm(&$ar, $k, $m) {if($k == $m){ echo join('',$ar), PHP_EOL;}else {for($i=$k; $i<=$m; $i++) {swap($ar[$k], $ar[$i]);perm($ar