python 使用pika对接rabbitMQ

2024-06-23 09:48

本文主要是介绍python 使用pika对接rabbitMQ,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1、简易阐述原理

  • 原则上,消息,只能有交换机传到队列,就像我们家里面的交换机道理一样。
  • 有多个设备连接到交换机,那么,这个交换机把消息发给那个设备呢,就是根据交换机的类型来定。类型有:direct\topic\headers\fanout
  • fanout:这个就是,所有的设备都能收到消息,就是广播。
  • 此处定义一个名称为'logs'的'fanout'类型的exchange
  • channel.exchange_declare(exchange='logs', exchange_type='fanout')
  • rabbitMQ详细原理阐述
  • rabbitMQ与redis性能对比
  • rabbitMQ原理介绍

2、个人使用rabbitmq见解

  • 发布:实质就是每个数据上面附带一个route_key,将数据发送到某个交换机X,发布数据的时候只需要将数据发送到交换机即可,这里的交换机相当于(家里拉网,然后把网线接到路由器上进口上,这个路由器中转站有了数据,然后可以再用多根网线插到路由器的出口,获取到网络,这里的网线就相当于rabbitmq中的queue,route_key的作用是可以根据这个值决定数据走哪个queue)
  • 消费:实质从交换机X上面取的route_key等于某个值放到某个队列,然后从某个队列进行消费,不断进行循环

3、发布订阅

  • 以下是我借鉴网上一位大牛写的代码,从新把不完善的地方完善了一下,实现后端对接celery异步消费功能,目前程序一直在服务器中稳定运行,没有出现异常,如果程序还有啥问题,欢迎指正哈
  • rabbitmq调试web页面为:http://ip:15672/#/queues
#! /usr/bin/env python2
# .-*- coding:utf-8 .-*-import pika
import json
import datetimefrom multiprocessing import Process
from pika.exceptions import ChannelClosed
from pika.exceptions import ConnectionClosed
from project.tasks import *
from my_logger import Loggerlogger_name = 'rabbitmq.log'
logger = Logger(logger_name)# rabbitmq 配置信息
MQ_CONFIG = {"host": "ip","port": 5672,"vhost": "/","user": "haha",      # rabbitmq中添加的用户名"passwd": "haha",    # rabbitmq中添加的用户名对应密码"exchange": "web",  # 需要从那个交换机上面取数据的name
}class RabbitMQServer(object):# _instance_lock = threading.Lock()def __init__(self):self.recv_queu = ""self.recv_rout_key = ""self.send_serverid = ""self.exchange = MQ_CONFIG.get("exchange")self.connection = Noneself.channel = Nonedef reconnect(self):try:if self.channel and not self.channel.is_closed:self.channel.close()if self.connection and not self.connection.is_closed:self.connection.close()# 创建一个身份验证凭证credentials = pika.PlainCredentials(username=MQ_CONFIG.get("user"),password=MQ_CONFIG.get("passwd"))# 创建一个参数连接对象,heartbeat=0可以设置成rebbit永久连接,不然等没有数据传输,则会中断连接;# 建议heartbeat的值设置为5-16可以满足一般的需求,设置的太小频繁访问容易造成网络拥堵parameters = pika.ConnectionParameters(host=MQ_CONFIG.get("host"),port=MQ_CONFIG.get("port"),virtual_host=MQ_CONFIG.get("vhost"),credentials=credentials,heartbeat=0,socket_timeout=5)# 在Pika的异步核心方法之上创建一个层一直阻塞到预期响应有结果self.connection = pika.BlockingConnection(parameters)# 相当于创建一个数据传输管道self.channel = self.connection.channel()# 如果交换器不存在,则创建一个交换器;如果交换器存在,则验证是否和预期一致# 使用durable=True声明queue是持久化的,这样即便Rabb崩溃了重启后queue仍然存在其中的message不会丢失self.channel.exchange_declare(exchange=self.exchange, durable=True)if isinstance(self, RabbitComsumer):# 根据需要声明队列,exclusive=True 使用结束后会自动删除队列result = self.channel.queue_declare(queue=self.recv_queu, durable=True)# 获取队列名queue_name = result.method.queue# 实质意义是从交换机上面取一个routing_key=self.recv_rout_key的数值,放到queue里面self.channel.queue_bind(exchange=self.exchange, queue=queue_name, routing_key=self.recv_rout_key)# 设置服务质量,公平调度,同一时间,每个队列只给分配一个任务prefetch_count=1self.channel.basic_qos(prefetch_count=1)# 消费queue里面的数据self.channel.basic_consume(self.consumer_callback, queue=queue_name, no_ack=False)except Exception as e:logger.error('Reconnect Exception: %s' % str(e))class RabbitComsumer(RabbitMQServer):def __init__(self):super(RabbitComsumer, self).__init__()def consumer_callback(self, ch, method, properties, body):""":param ch: 通道对象:param method: 可以获取队列数据的附带参数值,比如route_key:param properties::param body: 队列数据值:return:"""logger.info("rout_key: %s, body: %s, method.routing_key: %s" %(str(self.recv_rout_key), str(body), str(method.routing_key)))# 和deley相比apply_async可以控制控制任务执行的参数,异步分配任务if method.routing_key == "websusingle_urgent":get_subdomain.apply_async(args=[body])elif method.routing_key == "ICP_urgent":get_icp.apply_async(args=[body])elif method.routing_key == "whois_urgent":get_whois.apply_async(args=[body])elif method.routing_key == "dns_urgent":get_dns.apply_async(args=[body])elif method.routing_key == "passdns_urgent":get_passdns.apply_async(args=[body])else:self.channel.basic_publish(exchange='',  routing_key='info_webasset_error', body=body)# 保证消息不丢失,如果没有回复则重新添加任务ch.basic_ack(delivery_tag=method.delivery_tag)def start_consumer(self):while True:try:self.reconnect()self.channel.start_consuming()except ConnectionClosed as e:logger.error("ConnectionClosed Exception: %s" % str(e))self.reconnect()time.sleep(2)except ChannelClosed as e:logger.error("ChannelClosed Exception: %s" % str(e))self.reconnect()time.sleep(2)except Exception as e:logger.error("Other Exception: %s" % str(e))self.reconnect()time.sleep(2)@classmethoddef run(cls, info):consumer = cls()consumer.recv_queu = info[0]consumer.recv_rout_key = info[1]consumer.start_consumer()class RabbitPublisher(RabbitMQServer):""" 发布队列,本程序目前尚未使用 """def __init__(self):super(RabbitPublisher, self).__init__()def start_publish(self):self.reconnect()i = 1while True:message = {"value": i}message = dict_to_json(message)try:self.channel.basic_publish(exchange=self.exchange, routing_key=self.send_serverid, body=message)i += 1except ConnectionClosed as e:self.reconnect()time.sleep(2)except ChannelClosed as e:self.reconnect()time.sleep(2)except Exception as e:self.reconnect()time.sleep(2)@classmethoddef run(cls, send_serverid):publish = cls()publish.send_serverid = send_serveridpublish.start_publish()class CJsonEncoder(json.JSONEncoder):def default(self, obj):if isinstance(obj, datetime.datetime):return obj.strftime('%Y-%m-%d %H:%M:%S')elif isinstance(obj, datetime.date):return obj.strftime("%Y-%m-%d")else:return json.JSONEncoder.default(self, obj)def dict_to_json(po):jsonstr = json.dumps(po, ensure_ascii=False, cls=CJsonEncoder)return jsonstrdef json_to_dict(jsonstr):if isinstance(jsonstr, bytes):jsonstr = jsonstr.decode("utf-8")d = json.loads(jsonstr)return ddef work(func, items):for item in items:p = Process(target=func, args=(item,))p.start()if __name__ == '__main__':# 这里分别用两个线程去连接和发送# threading.Thread(target=RabbitComsumer.run, args=(recv_serverid,)).start()# threading.Thread(target=RabbitPublisher.run, args=(send_serverid,)).start()# 如果CPU是多核,资源够用的情况下建议使用多进程# list里面放两个元素,分别对应消费需要的queue和消费的route_keytemp1 = ["queue_name1", "route_key1"]temp2 = ["queue_name2", "route_key2"]items = [temp1, temp2]work(RabbitComsumer.run, items)

 

这篇关于python 使用pika对接rabbitMQ的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1086815

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss