大型商城活动防刷限流方案

2024-02-14 09:38

本文主要是介绍大型商城活动防刷限流方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近负责的一个某品牌手机的官方商城,他们要发售一款新手机,以往都是各个渠道一起发售,但是本次决定官网首发10000台,这样一来其他渠道的消费者都会被引流到官网来(天猫/京东/苏宁/线下),其庞大的流量并发可想而知,原有的功能实现肯定无法承载这种体量,因此我们全面优化了预售功能,分别按照以下几个点来操作:

1. 页面静态化(动态数据全部通过js异步获取,并且需要控制异步请求的数量,页面缓存到CDN)

2.防bot(包括防刷、限流等)

今天主讲一下发刷和限流方案,需要用到的技术包括Nginx+Lua+Redis

OK我们先来看一下防刷代码,看完代码再来讲解这段代码:

-- access_by_lua_file '/opt/ops/lua/access_limit.lua'  
local function close_redis(red)  if not red then  return  end  --释放连接(连接池实现)  local pool_max_idle_time = 10000 --毫秒  local pool_size = 100 --连接池大小  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  if not ok then  ngx_log(ngx_ERR, "set redis keepalive error : ", err)  end  
end  local redis = require "resty.redis"  
local red = redis:new()  
red:set_timeout(1000)  
local ip = "redis-ip"  
local port = redis-port  
local ok, err = red:connect(ip,port)  
if not ok then  return close_redis(red)  
end  local clientIP = ngx.req.get_headers()["X-Real-IP"]  
if clientIP == nil then  clientIP = ngx.req.get_headers()["x_forwarded_for"]  
end  
if clientIP == nil then  clientIP = ngx.var.remote_addr  
end  local incrKey = "user:"..clientIP..":freq"  
local blockKey = "user:"..clientIP..":block"  local is_block,err = red:get(blockKey) -- check if ip is blocked  
if tonumber(is_block) == 1 then  ngx.exit(ngx.HTTP_FORBIDDEN)  return close_redis(red)  
end  res, err = red:incr(incrKey)  if res == 1 then  res, err = red:expire(incrKey,1)  
end  if res > 200 then  res, err = red:set(blockKey,1)  res, err = red:expire(blockKey,600)  
end  close_redis(red)

这段的逻辑是这样,请求过来的时候获取当前访问者的ip,拼接出两个key,一个是用于统计该ip的请求次数的,另一个是用来标识是否被限制了,然后redis里去先去get一下这个ip是否被限制了,如果返回1标识被限制了,直接nginx返回403,否则的话对当前ip进行计数,第一次计数时,计数完毕后设置该计数器的失效时间1秒,后面判断计数器的大小是否查过了200,也就是说,如果在1秒的失效时间内请求了超过200次,那么设置当前ip为受限,并设置受限时间为10分钟。


再来看看限流代码,看完代码再来讲解这段代码:

-- access_by_lua_file '/opt/ops/lua/access_flow_control.lua'  
local function close_redis(red)  if not red then  return  end  --释放连接(连接池实现)  local pool_max_idle_time = 10000 --毫秒  local pool_size = 100 --连接池大小  local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)  if not ok then  ngx_log(ngx_ERR, "set redis keepalive error : ", err)  end  
end  local function wait()  ngx.sleep(1)  
end  local redis = require "resty.redis"  
local red = redis:new()  
red:set_timeout(1000)  
local ip = "redis-ip"  
local port = redis-port  
local ok, err = red:connect(ip,port)  
if not ok then  return close_redis(red)  
end  local uri = ngx.var.uri -- 获取当前请求的uri  
local uriKey = "req:uri:"..uri  
res, err = red:eval("local res, err = redis.call('incr',KEYS[1]) if res == 1 then local resexpire, err = redis.call('expire',KEYS[1],KEYS[2]) end return (res)",2,uriKey,1)  
while (res > 10)  
do   local twait, err = ngx.thread.spawn(wait)  ok, threadres = ngx.thread.wait(twait)  if not ok then  ngx_log(ngx_ERR, "wait sleep error: ", err)  break;  end  res, err = red:eval("local res, err = redis.call('incr',KEYS[1]) if res == 1 then local resexpire, err = redis.call('expire',KEYS[1],KEYS[2]) end return (res)",2,uriKey,1)  
end  
close_redis(red)  

限流的逻辑是这样的请求过来获取你的url然后以这个url作为key去redis里计数,然后判断当前url被请求过多少次,如果是一次那么设置该key的失效时间是1秒,然后有一个while循环,循环的条件是当前url被请求的次数大于10,里面做的事情是让当前这个请求等待1秒,此时前面设置的失效时间应该到了,然后再去对当前url计一次数此时返回的数量理论上市1,如果数量等于1那么设置失效时间为1,然后继续while的循环,如果大于10就让他一直去循环做等待1秒然后设置请求次数加1,如果不大于1秒那么就放行允许请求去访问我们的tomcat,所以这里的逻辑其实限制了并发的请求数量是10,也就是同一时刻只允许10个请求通过校验走到tomcat,后面的请求都在排队等待。

说白了就是10个请求进来后,然后让后面的请求等待1秒然后再放进来10个一直这样循环处理。


ok以上就是我分享的防刷和限流解决方案,lua脚本是网上找来的,仅供参考。


这篇关于大型商城活动防刷限流方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/708129

相关文章

Python实现高效地读写大型文件

《Python实现高效地读写大型文件》Python如何读写的是大型文件,有没有什么方法来提高效率呢,这篇文章就来和大家聊聊如何在Python中高效地读写大型文件,需要的可以了解下... 目录一、逐行读取大型文件二、分块读取大型文件三、使用 mmap 模块进行内存映射文件操作(适用于大文件)四、使用 pand

Java解析JSON的六种方案

《Java解析JSON的六种方案》这篇文章介绍了6种JSON解析方案,包括Jackson、Gson、FastJSON、JsonPath、、手动解析,分别阐述了它们的功能特点、代码示例、高级功能、优缺点... 目录前言1. 使用 Jackson:业界标配功能特点代码示例高级功能优缺点2. 使用 Gson:轻量

Redis KEYS查询大批量数据替代方案

《RedisKEYS查询大批量数据替代方案》在使用Redis时,KEYS命令虽然简单直接,但其全表扫描的特性在处理大规模数据时会导致性能问题,甚至可能阻塞Redis服务,本文将介绍SCAN命令、有序... 目录前言KEYS命令问题背景替代方案1.使用 SCAN 命令2. 使用有序集合(Sorted Set)

基于Redis有序集合实现滑动窗口限流的步骤

《基于Redis有序集合实现滑动窗口限流的步骤》滑动窗口算法是一种基于时间窗口的限流算法,通过动态地滑动窗口,可以动态调整限流的速率,Redis有序集合可以用来实现滑动窗口限流,本文介绍基于Redis... 滑动窗口算法是一种基于时间窗口的限流算法,它将时间划分为若干个固定大小的窗口,每个窗口内记录了该时间

MyBatis延迟加载的处理方案

《MyBatis延迟加载的处理方案》MyBatis支持延迟加载(LazyLoading),允许在需要数据时才从数据库加载,而不是在查询结果第一次返回时就立即加载所有数据,延迟加载的核心思想是,将关联对... 目录MyBATis如何处理延迟加载?延迟加载的原理1. 开启延迟加载2. 延迟加载的配置2.1 使用

Android WebView的加载超时处理方案

《AndroidWebView的加载超时处理方案》在Android开发中,WebView是一个常用的组件,用于在应用中嵌入网页,然而,当网络状况不佳或页面加载过慢时,用户可能会遇到加载超时的问题,本... 目录引言一、WebView加载超时的原因二、加载超时处理方案1. 使用Handler和Timer进行超

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验