多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!

2023-11-06 06:48

本文主要是介绍多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

先介绍下背景,我是武汉某O2O电商公司开发组长,疫情震中的我被老板要求7天之内上线《疫情防控热点图》项目,几个组员回老家断网,最终就2个人完成开发上线,满足了10w+用户的高频访问。时间和人力都紧张,不能按照常态模式开发,很多技术选型也跟平时迥异。本文为大家专题分享一下缓存在本项目中的使用和踩的几个典型的坑,希望对大家能有所帮助。

缓存Cache

缓存Cache是系统架构、性能优化的必备技能,也是新年跳槽季必考哦。核心思路就是把高频耗资源数据找个地方存储着,下次需要的时候直接使用,既能避免重复请求以降低压力,也能更快捷获取以提升性能。可能有小伙伴儿觉得疫情热点图要求实时更新,哪里用得上缓存?那你就太年轻了。本文一方面梳理下项目过程中各种缓存的原理、具体应用场景,踩过的坑和解决办法,另一方面也是希望抛砖引玉,欢迎大家多多,给予建议。

客户端缓存

按惯例,从前往后说。客户端缓存指的是让浏览器将一些数据缓存重用,避免重复请求。基本原理是利用Http协议缓存协商,在ResponseHeader里面指定下缓存策略即可,适合缓存一些静态资源。

本项目中用的非常多,各种css、js和小图标文件,都直接设置了30天缓存有效期,资源更新时,采用的是版本号缓存更新模式,直接在每个资源请求后面都带上了版本号,简单粗暴完成缓存更新。           

CND缓存&反向代理缓存

       CDN缓存和反向代理缓存的思路是差不多的,一个Http请求要经过DNS,要经过反向代理,那么在这两个环节加一层缓存也是必须的。不过由于项目开发周期短,7天就要求上线,CDN没折腾,反向代理缓存倒是立了大功。

项目的后端是3个Core WebApi服务实例构建的集群,用Nginx做的负载均衡,然后加了个缓存解决了一个高频场景,小区周边疫情热点图。用Url+小区Id作为key,直接缓存了整个动态页,有效期1小时。很多用户进来就是看下自己小区热点图然后关闭了,差不多拦截了40%的请求量,反向代理缓存效果不要太牛!

本地缓存&分布式缓存

两个都是服务端缓存,Asp.Net Core内置了MemoryCache作为本地缓存,也非常友好的支持了Redis分布式缓存,二者都是利用内存缓存数据重用以加快速度。由于后端是做的集群,为方便缓存共享,只用了Redis分布式缓存。

能缓存的数据就很多了,项目里几乎全部的数据都走了一遍缓存,即使是大家认为的实时数据,项目里面也是采用的双写方案,同步写数据库和Redis,查询直接走的Redis。此外,为减小数据写入压力,像用户登录、浏览记录、页面访问次数等即时信息也都是放在Redis里面的,满100次或者1h才同步一次数据库。

缓存的坑

       正常状况下的缓存使用还是挺简单的,最怕是遇到异常情况。这次项目不大,但是因为时间仓促,很多细节没处理好,几个缓存常见的坑都给踩了一遍。

       系统是在催促中上线的,没有经过任何缓存预热,直接公众号push了一波通知,流量短时间冲上去了,这时候Redis里面还是空的,请求直接都到数据库了,上线10分钟后就挂了。解决办法是快速写了个控制台,把数据访问了一遍,初始化到Redis里面完成缓存预热就可以了。

       

然而,填完这个坑,又引出了新的坑。缓存预热时没注意缓存有效期的设置,缓存预热时将数据的过期时间都设置成了4小时,结果在4小时之后大量缓存同时过期,请求都到数据库了,幸亏当时是晚上10点,数据库好歹没倒。火速把项目升级了一下,将过期时间做了个随机变化,避免因为同时过期而造成的缓存雪崩。

       最后是项目运行一周后,发现数据库的压力突然又上来了。通过日志排查发现是某个IP一直用一个不存在的数据Id高频访问(猜测是友商在测试),因为数据库没有这个数据,缓存总是无法命中,导致请求都穿透缓存到了数据库。解决办法也简单,缓存逻辑加了个key-null,没有数据也能缓存。

       上面整理了项目中各种缓存的基本原理和使用场景,也总结了自己踩的几个坑,希望能给大家一些帮助,也欢迎大家交流拍砖。具体的代码实现没法为大家一一展示(项目还在运营),不过我这里很用心的为大家推荐一个课程,是我最崇拜的Eleven老师讲的,文中关于缓存的方方面面都会覆盖到(本文也是应Eleven老师邀请写的),而且还是免费的哦!

  最后,体贴的Eleven老师还说了,要给大家准备一组预习资料,方便大家的学习,大家赶紧扫码加美女小助教领取免费预习资料咯。架构师之路,道阻且长,愿大家一起共同成长!

这篇关于多亏我缓存技术过硬!疫情防控项目上线,我只用了5天!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/355063

相关文章

Node.js 数据库 CRUD 项目示例详解(完美解决方案)

《Node.js数据库CRUD项目示例详解(完美解决方案)》:本文主要介绍Node.js数据库CRUD项目示例详解(完美解决方案),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考... 目录项目结构1. 初始化项目2. 配置数据库连接 (config/db.js)3. 创建模型 (models/

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

Spring Boot项目部署命令java -jar的各种参数及作用详解

《SpringBoot项目部署命令java-jar的各种参数及作用详解》:本文主要介绍SpringBoot项目部署命令java-jar的各种参数及作用的相关资料,包括设置内存大小、垃圾回收... 目录前言一、基础命令结构二、常见的 Java 命令参数1. 设置内存大小2. 配置垃圾回收器3. 配置线程栈大小

Spring Boot项目中结合MyBatis实现MySQL的自动主从切换功能

《SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能》:本文主要介绍SpringBoot项目中结合MyBatis实现MySQL的自动主从切换功能,本文分步骤给大家介绍的... 目录原理解析1. mysql主从复制(Master-Slave Replication)2. 读写分离3.

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

一文教你如何将maven项目转成web项目

《一文教你如何将maven项目转成web项目》在软件开发过程中,有时我们需要将一个普通的Maven项目转换为Web项目,以便能够部署到Web容器中运行,本文将详细介绍如何通过简单的步骤完成这一转换过程... 目录准备工作步骤一:修改​​pom.XML​​1.1 添加​​packaging​​标签1.2 添加

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶