大型商城活动防刷限流方案

2024-02-14 09:38

本文主要是介绍大型商城活动防刷限流方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近负责的一个某品牌手机的官方商城,他们要发售一款新手机,以往都是各个渠道一起发售,但是本次决定官网首发10000台,这样一来其他渠道的消费者都会被引流到官网来(天猫/京东/苏宁/线下),其庞大的流量并发可想而知,原有的功能实现肯定无法承载这种体量,因此我们全面优化了预售功能,分别按照以下几个点来操作:

1. 页面静态化(动态数据全部通过js异步获取,并且需要控制异步请求的数量,页面缓存到CDN)

2.防bot(包括防刷、限流等)

今天主讲一下发刷和限流方案,需要用到的技术包括Nginx+Lua+Redis

OK我们先来看一下防刷代码,看完代码再来讲解这段代码:

-- access_by_lua_file '/opt/ops/lua/access_limit.lua'  
local function close_redis(red)  if not red then  return  end  --释放连接(连接池实现)  local pool_max_idle_time = 10000 --毫秒  local pool_size = 100 --连接池大小  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  if not ok then  ngx_log(ngx_ERR, "set redis keepalive error : ", err)  end  
end  local redis = require "resty.redis"  
local red = redis:new()  
red:set_timeout(1000)  
local ip = "redis-ip"  
local port = redis-port  
local ok, err = red:connect(ip,port)  
if not ok then  return close_redis(red)  
end  local clientIP = ngx.req.get_headers()["X-Real-IP"]  
if clientIP == nil then  clientIP = ngx.req.get_headers()["x_forwarded_for"]  
end  
if clientIP == nil then  clientIP = ngx.var.remote_addr  
end  local incrKey = "user:"..clientIP..":freq"  
local blockKey = "user:"..clientIP..":block"  local is_block,err = red:get(blockKey) -- check if ip is blocked  
if tonumber(is_block) == 1 then  ngx.exit(ngx.HTTP_FORBIDDEN)  return close_redis(red)  
end  res, err = red:incr(incrKey)  if res == 1 then  res, err = red:expire(incrKey,1)  
end  if res > 200 then  res, err = red:set(blockKey,1)  res, err = red:expire(blockKey,600)  
end  close_redis(red)

这段的逻辑是这样,请求过来的时候获取当前访问者的ip,拼接出两个key,一个是用于统计该ip的请求次数的,另一个是用来标识是否被限制了,然后redis里去先去get一下这个ip是否被限制了,如果返回1标识被限制了,直接nginx返回403,否则的话对当前ip进行计数,第一次计数时,计数完毕后设置该计数器的失效时间1秒,后面判断计数器的大小是否查过了200,也就是说,如果在1秒的失效时间内请求了超过200次,那么设置当前ip为受限,并设置受限时间为10分钟。


再来看看限流代码,看完代码再来讲解这段代码:

-- access_by_lua_file '/opt/ops/lua/access_flow_control.lua'  
local function close_redis(red)  if not red then  return  end  --释放连接(连接池实现)  local pool_max_idle_time = 10000 --毫秒  local pool_size = 100 --连接池大小  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  if not ok then  ngx_log(ngx_ERR, "set redis keepalive error : ", err)  end  
end  local function wait()  ngx.sleep(1)  
end  local redis = require "resty.redis"  
local red = redis:new()  
red:set_timeout(1000)  
local ip = "redis-ip"  
local port = redis-port  
local ok, err = red:connect(ip,port)  
if not ok then  return close_redis(red)  
end  local uri = ngx.var.uri -- 获取当前请求的uri  
local uriKey = "req:uri:"..uri  
res, err = red:eval("local res, err = redis.call('incr',KEYS[1]) if res == 1 then local resexpire, err = redis.call('expire',KEYS[1],KEYS[2]) end return (res)",2,uriKey,1)  
while (res > 10)  
do   local twait, err = ngx.thread.spawn(wait)  ok, threadres = ngx.thread.wait(twait)  if not ok then  ngx_log(ngx_ERR, "wait sleep error: ", err)  break;  end  res, err = red:eval("local res, err = redis.call('incr',KEYS[1]) if res == 1 then local resexpire, err = redis.call('expire',KEYS[1],KEYS[2]) end return (res)",2,uriKey,1)  
end  
close_redis(red)  

限流的逻辑是这样的请求过来获取你的url然后以这个url作为key去redis里计数,然后判断当前url被请求过多少次,如果是一次那么设置该key的失效时间是1秒,然后有一个while循环,循环的条件是当前url被请求的次数大于10,里面做的事情是让当前这个请求等待1秒,此时前面设置的失效时间应该到了,然后再去对当前url计一次数此时返回的数量理论上市1,如果数量等于1那么设置失效时间为1,然后继续while的循环,如果大于10就让他一直去循环做等待1秒然后设置请求次数加1,如果不大于1秒那么就放行允许请求去访问我们的tomcat,所以这里的逻辑其实限制了并发的请求数量是10,也就是同一时刻只允许10个请求通过校验走到tomcat,后面的请求都在排队等待。

说白了就是10个请求进来后,然后让后面的请求等待1秒然后再放进来10个一直这样循环处理。


ok以上就是我分享的防刷和限流解决方案,lua脚本是网上找来的,仅供参考。


这篇关于大型商城活动防刷限流方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/708129

相关文章

Java图片压缩三种高效压缩方案详细解析

《Java图片压缩三种高效压缩方案详细解析》图片压缩通常涉及减少图片的尺寸缩放、调整图片的质量(针对JPEG、PNG等)、使用特定的算法来减少图片的数据量等,:本文主要介绍Java图片压缩三种高效... 目录一、基于OpenCV的智能尺寸压缩技术亮点:适用场景:二、JPEG质量参数压缩关键技术:压缩效果对比

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

IDEA中Git版本回退的两种实现方案

《IDEA中Git版本回退的两种实现方案》作为开发者,代码版本回退是日常高频操作,IntelliJIDEA集成了强大的Git工具链,但面对reset和revert两种核心回退方案,许多开发者仍存在选择... 目录一、版本回退前置知识二、Reset方案:整体改写历史1、IDEA图形化操作(推荐)1.1、查看提

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流,为什么选择lua的方式实现

Python实现html转png的完美方案介绍

《Python实现html转png的完美方案介绍》这篇文章主要为大家详细介绍了如何使用Python实现html转png功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 1.增强稳定性与错误处理建议使用三层异常捕获结构:try: with sync_playwright(

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir

MySQL中闪回功能的方案讨论及实现

《MySQL中闪回功能的方案讨论及实现》Oracle有一个闪回(flashback)功能,能够用户恢复误操作的数据,这篇文章主要来和大家讨论一下MySQL中支持闪回功能的方案,有需要的可以了解下... 目录1、 闪回的目标2、 无米无炊一3、 无米无炊二4、 演示5、小结oracle有一个闪回(flashb

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

Java嵌套for循环优化方案分享

《Java嵌套for循环优化方案分享》介绍了Java中嵌套for循环的优化方法,包括减少循环次数、合并循环、使用更高效的数据结构、并行处理、预处理和缓存、算法优化、尽量减少对象创建以及本地变量优化,通... 目录Java 嵌套 for 循环优化方案1. 减少循环次数2. 合并循环3. 使用更高效的数据结构4