多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!

2023-11-06 06:48

本文主要是介绍多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

先介绍下背景,我是武汉某O2O电商公司开发组长,疫情震中的我被老板要求7天之内上线《疫情防控热点图》项目,几个组员回老家断网,最终就2个人完成开发上线,满足了10w+用户的高频访问。时间和人力都紧张,不能按照常态模式开发,很多技术选型也跟平时迥异。本文为大家专题分享一下缓存在本项目中的使用和踩的几个典型的坑,希望对大家能有所帮助。

缓存Cache

缓存Cache是系统架构、性能优化的必备技能,也是新年跳槽季必考哦。核心思路就是把高频耗资源数据找个地方存储着,下次需要的时候直接使用,既能避免重复请求以降低压力,也能更快捷获取以提升性能。可能有小伙伴儿觉得疫情热点图要求实时更新,哪里用得上缓存?那你就太年轻了。本文一方面梳理下项目过程中各种缓存的原理、具体应用场景,踩过的坑和解决办法,另一方面也是希望抛砖引玉,欢迎大家多多,给予建议。

客户端缓存

按惯例,从前往后说。客户端缓存指的是让浏览器将一些数据缓存重用,避免重复请求。基本原理是利用Http协议缓存协商,在ResponseHeader里面指定下缓存策略即可,适合缓存一些静态资源。

本项目中用的非常多,各种css、js和小图标文件,都直接设置了30天缓存有效期,资源更新时,采用的是版本号缓存更新模式,直接在每个资源请求后面都带上了版本号,简单粗暴完成缓存更新。           

CND缓存&反向代理缓存

       CDN缓存和反向代理缓存的思路是差不多的,一个Http请求要经过DNS,要经过反向代理,那么在这两个环节加一层缓存也是必须的。不过由于项目开发周期短,7天就要求上线,CDN没折腾,反向代理缓存倒是立了大功。

项目的后端是3个Core WebApi服务实例构建的集群,用Nginx做的负载均衡,然后加了个缓存解决了一个高频场景,小区周边疫情热点图。用Url+小区Id作为key,直接缓存了整个动态页,有效期1小时。很多用户进来就是看下自己小区热点图然后关闭了,差不多拦截了40%的请求量,反向代理缓存效果不要太牛!

本地缓存&分布式缓存

两个都是服务端缓存,Asp.Net Core内置了MemoryCache作为本地缓存,也非常友好的支持了Redis分布式缓存,二者都是利用内存缓存数据重用以加快速度。由于后端是做的集群,为方便缓存共享,只用了Redis分布式缓存。

能缓存的数据就很多了,项目里几乎全部的数据都走了一遍缓存,即使是大家认为的实时数据,项目里面也是采用的双写方案,同步写数据库和Redis,查询直接走的Redis。此外,为减小数据写入压力,像用户登录、浏览记录、页面访问次数等即时信息也都是放在Redis里面的,满100次或者1h才同步一次数据库。

缓存的坑

       正常状况下的缓存使用还是挺简单的,最怕是遇到异常情况。这次项目不大,但是因为时间仓促,很多细节没处理好,几个缓存常见的坑都给踩了一遍。

       系统是在催促中上线的,没有经过任何缓存预热,直接公众号push了一波通知,流量短时间冲上去了,这时候Redis里面还是空的,请求直接都到数据库了,上线10分钟后就挂了。解决办法是快速写了个控制台,把数据访问了一遍,初始化到Redis里面完成缓存预热就可以了。

       

然而,填完这个坑,又引出了新的坑。缓存预热时没注意缓存有效期的设置,缓存预热时将数据的过期时间都设置成了4小时,结果在4小时之后大量缓存同时过期,请求都到数据库了,幸亏当时是晚上10点,数据库好歹没倒。火速把项目升级了一下,将过期时间做了个随机变化,避免因为同时过期而造成的缓存雪崩。

       最后是项目运行一周后,发现数据库的压力突然又上来了。通过日志排查发现是某个IP一直用一个不存在的数据Id高频访问(猜测是友商在测试),因为数据库没有这个数据,缓存总是无法命中,导致请求都穿透缓存到了数据库。解决办法也简单,缓存逻辑加了个key-null,没有数据也能缓存。

       上面整理了项目中各种缓存的基本原理和使用场景,也总结了自己踩的几个坑,希望能给大家一些帮助,也欢迎大家交流拍砖。具体的代码实现没法为大家一一展示(项目还在运营),不过我这里很用心的为大家推荐一个课程,是我最崇拜的Eleven老师讲的,文中关于缓存的方方面面都会覆盖到(本文也是应Eleven老师邀请写的),而且还是免费的哦!

  最后,体贴的Eleven老师还说了,要给大家准备一组预习资料,方便大家的学习,大家赶紧扫码加美女小助教领取免费预习资料咯。架构师之路,道阻且长,愿大家一起共同成长!

这篇关于多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/355063

相关文章

这15个Vue指令,让你的项目开发爽到爆

1. V-Hotkey 仓库地址: github.com/Dafrok/v-ho… Demo: 戳这里 https://dafrok.github.io/v-hotkey 安装: npm install --save v-hotkey 这个指令可以给组件绑定一个或多个快捷键。你想要通过按下 Escape 键后隐藏某个组件,按住 Control 和回车键再显示它吗?小菜一碟: <template

如何用Docker运行Django项目

本章教程,介绍如何用Docker创建一个Django,并运行能够访问。 一、拉取镜像 这里我们使用python3.11版本的docker镜像 docker pull python:3.11 二、运行容器 这里我们将容器内部的8080端口,映射到宿主机的80端口上。 docker run -itd --name python311 -p

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

在cscode中通过maven创建java项目

在cscode中创建java项目 可以通过博客完成maven的导入 建立maven项目 使用快捷键 Ctrl + Shift + P 建立一个 Maven 项目 1 Ctrl + Shift + P 打开输入框2 输入 "> java create"3 选择 maven4 选择 No Archetype5 输入 域名6 输入项目名称7 建立一个文件目录存放项目,文件名一般为项目名8 确定

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。

Vue3项目开发——新闻发布管理系统(六)

文章目录 八、首页设计开发1、页面设计2、登录访问拦截实现3、用户基本信息显示①封装用户基本信息获取接口②用户基本信息存储③用户基本信息调用④用户基本信息动态渲染 4、退出功能实现①注册点击事件②添加退出功能③数据清理 5、代码下载 八、首页设计开发 登录成功后,系统就进入了首页。接下来,也就进行首页的开发了。 1、页面设计 系统页面主要分为三部分,左侧为系统的菜单栏,右侧

SpringBoot项目是如何启动

启动步骤 概念 运行main方法,初始化SpringApplication 从spring.factories读取listener ApplicationContentInitializer运行run方法读取环境变量,配置信息创建SpringApplication上下文预初始化上下文,将启动类作为配置类进行读取调用 refresh 加载 IOC容器,加载所有的自动配置类,创建容器在这个过程

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出

AI(文生语音)-TTS 技术线路探索学习:从拼接式参数化方法到Tacotron端到端输出 在数字化时代,文本到语音(Text-to-Speech, TTS)技术已成为人机交互的关键桥梁,无论是为视障人士提供辅助阅读,还是为智能助手注入声音的灵魂,TTS 技术都扮演着至关重要的角色。从最初的拼接式方法到参数化技术,再到现今的深度学习解决方案,TTS 技术经历了一段长足的进步。这篇文章将带您穿越时

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保