aws SQS 工作原理

2023-12-21 04:38
文章标签 工作 原理 aws sqs

本文主要是介绍aws SQS 工作原理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

亚马逊SQS的基本架构

分布式队列

分布式消息系统有三个主要部分:你的分布式系统的组件,你的队列(分布在Amazon SQS服务器上),以及队列中的消息。
在下面的场景中,你的系统有几个生产者(向队列发送消息的组件)和消费者(从队列接收消息的组件)。队列(持有消息A到E)在多个Amazon SQS服务器上冗余地存储消息。
在这里插入图片描述

信息生命周期

以下场景描述了Amazon SQS消息在队列中的生命周期,从创建到删除。
在这里插入图片描述

一个生产者(组件1)将消息A发送到一个队列,消息被冗余地分布在Amazon SQS服务器上。
当消费者(组件2)准备好处理消息时,它从队列中消费消息,然后消息A被返回。当消息A被处理时,它仍然在队列中,在可见性超时的时间内不会返回给后续的接收请求。
消费者(组件2)从队列中删除消息A,以防止在可见性超时结束时再次接收和处理该消息。
注意事项
Amazon SQS会自动删除在队列中超过最大消息保留期的消息。默认的消息保留期是4天。然而,您可以使用SetQueueAttributes动作将消息保留期设置为60秒到1,209,600秒(14天)的数值。

亚马逊SQS标准队列

亚马逊SQS提供标准作为默认队列类型。标准队列支持每秒钟对每个API动作(SendMessage、ReceiveMessage或DeleteMessage)的API调用次数几乎没有限制。标准队列支持至少一次的消息传递。然而,偶尔(由于高度分布式架构允许几乎无限的吞吐量),一个消息的多个副本可能会不按顺序交付。标准队列提供了尽力而为的排序,这确保了消息通常是按照它们被发送的相同顺序交付。
有关如何使用Amazon SQS控制台创建和配置队列的信息,请参阅创建Amazon SQS队列(控制台)。关于Java例子,请看Amazon SQS Java SDK例子。
你可以在许多情况下使用标准的消息队列,只要你的应用程序能够处理不止一次到达的消息,并且不按顺序,例如:
1.将实时用户请求与密集的后台工作解耦 - 让用户在上传媒体的同时调整其大小或进行编码。
2.将任务分配给多个工作节点 - 处理大量的信用卡验证请求。
3.批量信息以便将来处理 - 安排多个条目添加到数据库。

消息排序

标准队列会尽最大努力保持消息的顺序,但一份以上的消息可能会不按顺序传递。如果你的系统要求保留顺序,我们建议使用先进先出(FIFO)队列或在每个消息中添加排序信息,这样你就可以在收到消息时重新排序。

最少一次的交付

Amazon SQS在多个服务器上存储您的消息副本,以实现冗余和高可用性。在少数情况下,当您收到或删除消息时,存储消息副本的服务器之一可能无法使用。
如果发生这种情况,信息的副本不会在那个不可用的服务器上被删除,当你收到信息时,你可能会再次得到那个信息副本。把你的应用程序设计成空闲的(当处理同一消息超过一次时,它们不应该受到不利影响)。
# 亚马逊SQS队列和消息标识符

队列名称和URL

当您创建一个新的队列时,您必须为您的AWS帐户和地区指定一个独特的队列名称。Amazon SQS为您创建的每个队列分配一个标识符,称为队列URL,其中包括队列名称和其他Amazon SQS组件。每当你想对一个队列执行一个动作时,你就提供它的队列URL。
FIFO队列的名称必须以.fifo后缀结尾。后缀计入80个字符的队列名称配额。要确定一个队列是否是先进先出,你可以检查队列名称是否以后缀结尾。
下面是一个名为MyQueue的队列的队列URL,该队列由AWS账号为123456789012的用户拥有。

https://sqs.us-east-2.amazonaws.com/123456789012/MyQueue

你可以通过列举你的队列并解析帐号后面的字符串,以编程方式检索队列的URL。欲了解更多信息,请参见ListQueues。

消息ID

每条消息都会收到一个系统分配的消息ID,Amazon SQS会在SendMessage响应中返回给你。这个标识符对于识别消息很有用。(然而,要删除一条消息,你需要该消息的接收句柄。) 消息ID的最大长度是100个字符。

接收句柄

每次你从队列中收到一条消息,你都会收到该消息的一个接收句柄。这个句柄与接收消息的动作相关,而不是与消息本身相关。要删除消息或改变消息的可见性,你必须提供接收柄(而不是消息ID)。因此,在删除消息之前,你必须总是收到一条消息(你不能把一条消息放入队列,然后再调用它)。接收句柄的最大长度是1,024个字符。

重复数据删除的消息ID

用于重复计算已发送消息的令牌。如果一个具有特定消息重复编码的消息被成功发送,任何具有相同消息重复编码的消息都会被成功接受,但在5分钟的重复编码间隔内不会被交付。

消息组ID

指定消息属于特定消息组的标签。属于同一消息组的消息总是按照相对于消息组的严格顺序逐一处理(但是,属于不同消息组的消息可能会不按顺序处理)。

序列号

亚马逊SQS分配给每个消息的大的、非连续的数字。

信息元数据

亚马逊SQS消息属性

Amazon SQS允许您使用消息属性将结构化的元数据(如时间戳、地理空间数据、签名和标识符)与消息包括在一起。每条消息最多可以有10个属性。消息属性是可选的,并与消息正文分开(然而,它们会与消息正文一起发送)。你的消费者可以使用消息属性以特定的方式处理一条消息,而不必先处理消息正文。

信息属性组件

每个消息属性由以下部分组成。

1.名称 - 消息属性名称可以包含以下字符。A-Z、a-z、0-9、下划线(_)、连字符(-)和句号(.)。以下限制适用。
最长可以是256个字符
不能以AWS.或Amazon.开头。(或任何大小写变化)
是区分大小写的
在信息的所有属性名称中必须是唯一的
不能以句号开始或结束
在一个序列中不能有句号

2.类型 - 消息属性的数据类型。支持的类型包括字符串、数字和二进制。你也可以为任何数据类型添加自定义信息。数据类型具有与消息主体相同的限制(更多信息,请参见《亚马逊简单队列服务API参考》中的SendMessage)。此外,还适用以下限制。
最长可以达到256个字符
是区分大小写的

3.Value - 消息的属性值。对于字符串数据类型,属性值具有与消息正文相同的限制。

信息属性数据类型

消息属性数据类型指示Amazon SQS如何处理相应的消息属性值。例如,如果类型是Number,Amazon SQS就会验证数字值。
Amazon SQS支持逻辑数据类型String、Number和Binary,并有可选的自定义数据类型标签,格式为.custom-data-type
String - 字符串属性可以使用任何有效的XML字符存储Unicode文本。
Number - Number属性可以存储正数或负数的数值。一个数字可以有多达38位的精度,它可以在10-128和10+126之间。
二进制 - 二进制属性可以存储任何二进制数据,如压缩数据、加密数据或图像。
自定义 - 要创建一个自定义数据类型,在任何数据类型上附加一个自定义类型标签。例如。
Number.byte, Number.short, Number.int, and Number.float可以帮助区分数字类型。
Binary.gif和Binary.png可以帮助区分文件类型。

计算消息属性的MD5消息摘要

如果您使用AWS SDK for Java,您可以跳过本节。Java版SDK的MessageMD5ChecksumHandler类支持亚马逊SQS消息属性的MD5消息摘要。
如果您使用查询API或AWS SDK中的一个不支持Amazon SQS消息属性的MD5消息摘要,您必须使用以下指南来执行MD5消息摘要计算。

概述
以下是对MD5消息摘要计算算法的概述。
1.按名称升序对所有消息属性进行排序。
2.将每个属性的单独部分(名称、类型和值)编码到一个缓冲区。
3.计算整个缓冲区的消息摘要。

下图显示了单个消息属性的MD5消息摘要的编码情况。
在这里插入图片描述
要对一个单一的Amazon SQS消息属性进行编码
1.编码名称:长度(4字节)和名称的UTF-8字节。
2.编码数据类型:长度(4字节)和数据类型的UTF-8字节。
3.对值的传输类型(字符串或二进制)进行编码(1个字节)。
a.对于字符串传输类型,编码为1。
b.对于二进制传输类型,编码为2。
4.编码属性值。
a.对于字符串传输类型,对属性值进行编码:长度(4个字节)和该值的UTF-8字节。
b.对于二进制传输类型,对属性值进行编码:长度(4字节)和值的原始字节。

这篇关于aws SQS 工作原理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/518668

相关文章

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

Java Stream的distinct去重原理分析

《JavaStream的distinct去重原理分析》Javastream中的distinct方法用于去除流中的重复元素,它返回一个包含过滤后唯一元素的新流,该方法会根据元素的hashcode和eq... 目录一、distinct 的基础用法与核心特性二、distinct 的底层实现原理1. 顺序流中的去重

SpringBoot集成LiteFlow工作流引擎的完整指南

《SpringBoot集成LiteFlow工作流引擎的完整指南》LiteFlow作为一款国产轻量级规则引擎/流程引擎,以其零学习成本、高可扩展性和极致性能成为微服务架构下的理想选择,本文将详细讲解Sp... 目录一、LiteFlow核心优势二、SpringBoot集成实战三、高级特性应用1. 异步并行执行2

Spring @Scheduled注解及工作原理

《Spring@Scheduled注解及工作原理》Spring的@Scheduled注解用于标记定时任务,无需额外库,需配置@EnableScheduling,设置fixedRate、fixedDe... 目录1.@Scheduled注解定义2.配置 @Scheduled2.1 开启定时任务支持2.2 创建

Spring Boot 实现 IP 限流的原理、实践与利弊解析

《SpringBoot实现IP限流的原理、实践与利弊解析》在SpringBoot中实现IP限流是一种简单而有效的方式来保障系统的稳定性和可用性,本文给大家介绍SpringBoot实现IP限... 目录一、引言二、IP 限流原理2.1 令牌桶算法2.2 漏桶算法三、使用场景3.1 防止恶意攻击3.2 控制资源

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

LiteFlow轻量级工作流引擎使用示例详解

《LiteFlow轻量级工作流引擎使用示例详解》:本文主要介绍LiteFlow是一个灵活、简洁且轻量的工作流引擎,适合用于中小型项目和微服务架构中的流程编排,本文给大家介绍LiteFlow轻量级工... 目录1. LiteFlow 主要特点2. 工作流定义方式3. LiteFlow 流程示例4. LiteF