深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)

本文主要是介绍深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

破除困境带你飞

能遇上高并发的,基本都是有点规模的公司,小公司基本都是CRUD。
想去一线城市跳槽,想去有高并发的公司,但是没有高并发经验,没有高并发的经验,就去不了高并发的公司,去不了这样的公司,就没有高并发经验,前狼后虎两头堵的困境,干就完了。

一语道破

超卖问题是属于并发安全问题,在并发情况下出现数据一致性的问题的表现,据有代表性。
这是个概率问题,不是一定发生或一定不发生。
核心问题就两个:

  • 并发引起的资源竞争却没有加锁,导致运行时序不可控(MySQL超卖)。
  • 多个读写操作存在间隙,导致并发请求通过间隙插队引发的时序不可控问题(Redis超卖)。

解决方案也很简单,上锁或者保证无间隙执行就行了。

并发问题仅仅只是一种,至于并发带来的,大数据存储、检索、以及安全问题都是需要考虑进去的。

MySQL超卖原理分析

假设无并发情况下代码逻辑没问题。这个问题主要出现在获取库存数据的方式上,并发过来时,多个请求获取到的库存一致,然后都在这个一致的库存基础上扣库存,自然要出错。

MySQL的解决方案

并发存在资源争夺问题,时序是不可控的,所以要上锁,强制在短时间内让数据串行更改。

  • 乐观锁:MySQL乐观锁与悲观锁
  • 悲观锁:MySQL锁(读锁、共享锁、写锁、S锁、排它锁、独占锁、X锁、表锁、意向锁、自增锁、MDL锁、RL锁、GL锁、NKL锁、插入意向锁、间隙锁、页锁、悲观锁、乐观锁、隐式锁、显示锁、全局锁、死锁)
  • 分布式锁:深入理解PHP+Redis实现分布式锁的相关问题

Redis超卖原理分析

Redis超卖,主要是开发者没有考虑到并发下资源争夺的间隙问题。
redis get(‘stock’)是5,然后decr(‘stock’),想让库存减到4,看起来没毛病。
但是get和decr是两条语句,因此存在间隙,get(‘stock’)是5只能代表执行的那个时刻是5,decr在执行时不能保证redis是以5的基础上自减的,可能已经被秒成0了。

Redis的解决方案

  • 笨方法:
    由于Redis是单线程的,利用Redis双向链表的特性可以完成,利用左推右拉的单向队列完成对库存的扣减。笨方法,笨就笨在要是有1000个商品,一共50000个库存,难道要存50000条数据吗。
    伪代码如下:
    实现通过缓存预热,将商品id缓存进redis队列中,例如:lPush('goods_ids' , 商品id)	
    然后抢购时:在逐个取出来,利用这些数据,做其它逻辑操作rPush('goods_ids', 商品id),知道这个动作返回false,证明库存全部扣完。
    
  • Redis+lua:
    利用Redis+Lua脚本的方式,让扣库存的动作无间隙执行,超卖问题,用redis操作string,或者hash类型都行。
    //用字符串类型操作,单商品库存
    $lua = <<<EOFlocal stock_key   = KEYS[1]                                -- Redis中存储库存数量的键名local input_stock = tonumber(ARGV[1])                      -- 要扣除的库存数量local redis_stock = tonumber(redis.call('GET', stock_key)) -- 获取当前库存数量if redis_stock >= input_stock thenredis.call('DECRBY', stock_key, input_stock)           -- 如果库存充足,则扣除库存数量return redis_stock - input_stock                       -- 返回扣除后的库存数量elsereturn -1                                              -- 库存不足,返回标记值,别返回0,有歧义end
    EOF;$redis = new Redis();
    $redis->connect('127.0.0.1', 6379);
    //stock为string名,2为要扣库存的数量
    $res = $redis->eval($lua, ['stock' , 2], 1);
    if($res == -1) {//库存不足
    }//库存充足,其它下游流程...
    
    用hash类型操作多商品库存
    $script = <<<EOFlocal hash_key    = KEYS[1]local goods_id    = KEYS[2]local input_stock = - tonumber(ARGV[1])if input_stock >= 0 thenreturn -1 -- 表单验证endlocal redis_stock = tonumber(redis.call('HGET', hash_key, goods_id))if redis_stock == nil thenreturn -2 -- 商品不存在endlocal stock_res = redis_stock + input_stockif stock_res < 0 thenreturn -3 -- 库存不足endredis.call('HSET', hash_key, goods_id, stock_res)return stock_res
    EOF;
    //扣减商品id为50的3个库存。
    $res = $redis->eval($script, ['stock', 50, 3], 2);
    if($res == -1) {echo '库存数据不合法';return;
    }
    if($res == -2) {echo '商品不存在';return;
    }
    if($res == -3) {echo '库存不足';return;
    }echo "库存扣减成功,当前库存为:{$res}";
    

关于Redis+Lua是否是原子性执行的争议问题

https://redis.io/docs/latest/develop/interact/programmability/eval-intro/
对Redis官网进行搜索,出现了原子性的字眼。
原话是:
Blocking semantics that ensure the script’s atomic execution.
Lua lets you run part of your application logic inside Redis. Such scripts can perform conditional updates across multiple keys, possibly combining several different data types atomically.

但是我想了想有矛盾的地方:
MySQL使用了undo log来保证原子性,要么成功全部执行,要么失败全部回滚。
众所周知,Redis不支持回滚的,那么ACID的A就没办法全部保证,最多是没有执行期间没有间隙,不被其它过来的请求影响,引起并发问题。

然后我又看了看阿里某架构师对此的剖析,跟我设想的一样:
Redis会把Lua脚本当做一个整体去执行,中间不会被其它的命令插入,但是如果执行过程中出现了错误,事务是不会回滚的。
也就意味着执行Lua脚本的过程不可被拆分,不可被中断,但是遇到错误不会回滚。

并发情况下MySQL与Redis缓存一致性问题详解

并发情况单个MySQL或单个Redis本身都有读写不一致的问题,更何况MySQL与Redis两个组件间通信又没有事务的约束,或者锁的加持,同样会出现一致性问题。
深入理解高并发下的MySQL与Redis缓存一致性问题(增删改查数据缓存的一致性、Canal、分布式系统CAP定理、BASE理论、强、弱一致性、顺序、线性、因果、最终一致性)

高并发带来的数据幂等性问题

库存一致性是一方面,库存保证好了,不代表,其它地方就一定不会出现库存一致性问题:
高并发下数据幂等问题的9种解决方案

高并发带来海量数据MySQL查询问题

MySQL索引底层原理相关问题自总结(难度对标18K-25K薪资,已总结80+,持续更新中)

MySQL查询优化方案汇总(索引相关)

高并发带来的亿级大数据检索问题

万字详解PHP+Sphinx中文亿级数据全文检索实战(实测亿级数据0.1秒搜索耗时)

高并发从侧面带来的安全问题

深入理解PHP+Redis实现布隆过滤器(亿级大数据处理和黑客攻防必备)

其它文章持续更新中……

这篇关于深入理解高并发超卖一系列问题与解决方案(近7万字详解,跳槽涨薪必备宝藏珍藏级分享)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/920541

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

OpenHarmony鸿蒙开发( Beta5.0)无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息,即可快速实现设备配网,是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递,利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力,实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后,即可发送相关配网数据。同时还支持与常规Sof

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监