多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!

2023-11-06 06:48

本文主要是介绍多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

先介绍下背景,我是武汉某O2O电商公司开发组长,疫情震中的我被老板要求7天之内上线《疫情防控热点图》项目,几个组员回老家断网,最终就2个人完成开发上线,满足了10w+用户的高频访问。时间和人力都紧张,不能按照常态模式开发,很多技术选型也跟平时迥异。本文为大家专题分享一下缓存在本项目中的使用和踩的几个典型的坑,希望对大家能有所帮助。

缓存Cache

缓存Cache是系统架构、性能优化的必备技能,也是新年跳槽季必考哦。核心思路就是把高频耗资源数据找个地方存储着,下次需要的时候直接使用,既能避免重复请求以降低压力,也能更快捷获取以提升性能。可能有小伙伴儿觉得疫情热点图要求实时更新,哪里用得上缓存?那你就太年轻了。本文一方面梳理下项目过程中各种缓存的原理、具体应用场景,踩过的坑和解决办法,另一方面也是希望抛砖引玉,欢迎大家多多,给予建议。

客户端缓存

按惯例,从前往后说。客户端缓存指的是让浏览器将一些数据缓存重用,避免重复请求。基本原理是利用Http协议缓存协商,在ResponseHeader里面指定下缓存策略即可,适合缓存一些静态资源。

本项目中用的非常多,各种css、js和小图标文件,都直接设置了30天缓存有效期,资源更新时,采用的是版本号缓存更新模式,直接在每个资源请求后面都带上了版本号,简单粗暴完成缓存更新。           

CND缓存&反向代理缓存

       CDN缓存和反向代理缓存的思路是差不多的,一个Http请求要经过DNS,要经过反向代理,那么在这两个环节加一层缓存也是必须的。不过由于项目开发周期短,7天就要求上线,CDN没折腾,反向代理缓存倒是立了大功。

项目的后端是3个Core WebApi服务实例构建的集群,用Nginx做的负载均衡,然后加了个缓存解决了一个高频场景,小区周边疫情热点图。用Url+小区Id作为key,直接缓存了整个动态页,有效期1小时。很多用户进来就是看下自己小区热点图然后关闭了,差不多拦截了40%的请求量,反向代理缓存效果不要太牛!

本地缓存&分布式缓存

两个都是服务端缓存,Asp.Net Core内置了MemoryCache作为本地缓存,也非常友好的支持了Redis分布式缓存,二者都是利用内存缓存数据重用以加快速度。由于后端是做的集群,为方便缓存共享,只用了Redis分布式缓存。

能缓存的数据就很多了,项目里几乎全部的数据都走了一遍缓存,即使是大家认为的实时数据,项目里面也是采用的双写方案,同步写数据库和Redis,查询直接走的Redis。此外,为减小数据写入压力,像用户登录、浏览记录、页面访问次数等即时信息也都是放在Redis里面的,满100次或者1h才同步一次数据库。

缓存的坑

       正常状况下的缓存使用还是挺简单的,最怕是遇到异常情况。这次项目不大,但是因为时间仓促,很多细节没处理好,几个缓存常见的坑都给踩了一遍。

       系统是在催促中上线的,没有经过任何缓存预热,直接公众号push了一波通知,流量短时间冲上去了,这时候Redis里面还是空的,请求直接都到数据库了,上线10分钟后就挂了。解决办法是快速写了个控制台,把数据访问了一遍,初始化到Redis里面完成缓存预热就可以了。

       

然而,填完这个坑,又引出了新的坑。缓存预热时没注意缓存有效期的设置,缓存预热时将数据的过期时间都设置成了4小时,结果在4小时之后大量缓存同时过期,请求都到数据库了,幸亏当时是晚上10点,数据库好歹没倒。火速把项目升级了一下,将过期时间做了个随机变化,避免因为同时过期而造成的缓存雪崩。

       最后是项目运行一周后,发现数据库的压力突然又上来了。通过日志排查发现是某个IP一直用一个不存在的数据Id高频访问(猜测是友商在测试),因为数据库没有这个数据,缓存总是无法命中,导致请求都穿透缓存到了数据库。解决办法也简单,缓存逻辑加了个key-null,没有数据也能缓存。

       上面整理了项目中各种缓存的基本原理和使用场景,也总结了自己踩的几个坑,希望能给大家一些帮助,也欢迎大家交流拍砖。具体的代码实现没法为大家一一展示(项目还在运营),不过我这里很用心的为大家推荐一个课程,是我最崇拜的Eleven老师讲的,文中关于缓存的方方面面都会覆盖到(本文也是应Eleven老师邀请写的),而且还是免费的哦!

  最后,体贴的Eleven老师还说了,要给大家准备一组预习资料,方便大家的学习,大家赶紧扫码加美女小助教领取免费预习资料咯。架构师之路,道阻且长,愿大家一起共同成长!

这篇关于多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/355063

相关文章

Redis缓存问题与缓存更新机制详解

《Redis缓存问题与缓存更新机制详解》本文主要介绍了缓存问题及其解决方案,包括缓存穿透、缓存击穿、缓存雪崩等问题的成因以及相应的预防和解决方法,同时,还详细探讨了缓存更新机制,包括不同情况下的缓存更... 目录一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1

Python 中 requests 与 aiohttp 在实际项目中的选择策略详解

《Python中requests与aiohttp在实际项目中的选择策略详解》本文主要介绍了Python爬虫开发中常用的两个库requests和aiohttp的使用方法及其区别,通过实际项目案... 目录一、requests 库二、aiohttp 库三、requests 和 aiohttp 的比较四、requ

SpringBoot项目启动后自动加载系统配置的多种实现方式

《SpringBoot项目启动后自动加载系统配置的多种实现方式》:本文主要介绍SpringBoot项目启动后自动加载系统配置的多种实现方式,并通过代码示例讲解的非常详细,对大家的学习或工作有一定的... 目录1. 使用 CommandLineRunner实现方式:2. 使用 ApplicationRunne

使用IntelliJ IDEA创建简单的Java Web项目完整步骤

《使用IntelliJIDEA创建简单的JavaWeb项目完整步骤》:本文主要介绍如何使用IntelliJIDEA创建一个简单的JavaWeb项目,实现登录、注册和查看用户列表功能,使用Se... 目录前置准备项目功能实现步骤1. 创建项目2. 配置 Tomcat3. 项目文件结构4. 创建数据库和表5.

Python项目打包部署到服务器的实现

《Python项目打包部署到服务器的实现》本文主要介绍了PyCharm和Ubuntu服务器部署Python项目,包括打包、上传、安装和设置自启动服务的步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录一、准备工作二、项目打包三、部署到服务器四、设置服务自启动一、准备工作开发环境:本文以PyChar

多模块的springboot项目发布指定模块的脚本方式

《多模块的springboot项目发布指定模块的脚本方式》该文章主要介绍了如何在多模块的SpringBoot项目中发布指定模块的脚本,作者原先的脚本会清理并编译所有模块,导致发布时间过长,通过简化脚本... 目录多模块的springboot项目发布指定模块的脚本1、不计成本地全部发布2、指定模块发布总结多模

SpringBoot项目删除Bean或者不加载Bean的问题解决

《SpringBoot项目删除Bean或者不加载Bean的问题解决》文章介绍了在SpringBoot项目中如何使用@ComponentScan注解和自定义过滤器实现不加载某些Bean的方法,本文通过实... 使用@ComponentScan注解中的@ComponentScan.Filter标记不加载。@C

Redis与缓存解读

《Redis与缓存解读》文章介绍了Redis作为缓存层的优势和缺点,并分析了六种缓存更新策略,包括超时剔除、先删缓存再更新数据库、旁路缓存、先更新数据库再删缓存、先更新数据库再更新缓存、读写穿透和异步... 目录缓存缓存优缺点缓存更新策略超时剔除先删缓存再更新数据库旁路缓存(先更新数据库,再删缓存)先更新数

el-select下拉选择缓存的实现

《el-select下拉选择缓存的实现》本文主要介绍了在使用el-select实现下拉选择缓存时遇到的问题及解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录项目场景:问题描述解决方案:项目场景:从左侧列表中选取字段填入右侧下拉多选框,用户可以对右侧

javafx 如何将项目打包为 Windows 的可执行文件exe

《javafx如何将项目打包为Windows的可执行文件exe》文章介绍了三种将JavaFX项目打包为.exe文件的方法:方法1使用jpackage(适用于JDK14及以上版本),方法2使用La... 目录方法 1:使用 jpackage(适用于 JDK 14 及更高版本)方法 2:使用 Launch4j(