小熊家务帮day10- 门户管理

2024-06-04 02:12
文章标签 管理 day10 门户 小熊 家务

本文主要是介绍小熊家务帮day10- 门户管理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

门户管理

  • 1 门户介绍
    • 1.1 介绍
    • 1.2 常用技术方案
  • 2 缓存技术方案
    • 2.1 需求分析
      • 2.1.1 C端用户界面原型
      • 2.1.2 缓存需求
      • 2.1.3 使用的工具
    • 2.2 项目基础使用
      • 2.2.1 项目集成SpringCache
      • 2.2.2 测试Cacheable
        • 需求
        • Service
        • 测试
      • 2.1.3 缓存管理器（设置过期时间）
      • 2.1.4 测试CachePut（上架）
      • 2.1.5 测试CacheEvict(下架）
    • 2.3 解决缓存常见问题
      • 2.3.1 解决缓存穿透
      • 2.3.2 解决缓存击穿
      • 2.3.3 解决缓存雪崩
      • 2.3.2 解决双写不一致
  • 3 项目缓存的具体实现
    • 3.1 开通区域列表缓存实现
      • 3.1.1 缓存方案
      • 3.1.2 查询缓存实现

1 门户介绍

1.1 介绍

门户是指一个网站或应用程序的主页，它是用户进入这个网站或系统的入口，主页上通常聚合很多的信息，包括内容导航、热点信息等，比如：门户网站的首页、新闻网站的首页、小程序的首页等。

1.2 常用技术方案

实现门户功能用到哪些技术呢？
基于两个需求去分析：
1.门户上的信息是动态的
门户上的信息会按照一定的时间周期去更新，比如一个新闻网站不可能一直显示一样的新闻。
2.门户作为入口其访问频率非常高
对于访问频率高的界面其加载速度是至关重要的，因为它直接影响用户的体验和留存率。一般来说门户网站的首页应该在2至3秒内加载完成，这被认为是一个合理的加载时间目标。

常见的两类门户是：web门户和移动应用门户。
web门户：
web门户是最常见的门户类型，比如：新浪、百度新闻等，它们通过PC浏览器访问，用户可以通过桌面电脑、笔记本电脑、平板电脑和智能手机等设备访问。Web门户通常运行在Web浏览器上，用户可以通过输入网址或通过搜索引擎访问。
web门户是通过浏览器访问html网页，虽然html网页上的内容是动态的但是考虑门户作为入口其访问频率非常高所以就需要提高它的加载速度，如果网页上的数据是通过实时查询数据库得到是无法满足要求的，所以针对web门户提高性能的关键是如何提高html文件的访问性能，如何提高查询数据的性能。

流程：

  • 将门户页面生成静态网页发布到CDN服务器。
    纯静态网页通过Nginx加载要比去Tomcat加载快很多。
    我们可以使用模板引擎技术将动态数据静态化生成html文件，并通过CDN分发到边缘服务器，可以提高访问效率。

那什么是CDN？
CDN 是构建在数据网络上的一种分布式的内容分发网，旨在提高用户访问网站或应用时的性能。
下图中，通过CDN将内容分发到各个城市的CDN节点上，北京的网民请求北京的服务即可拿到资源，提高访问速度。
在这里插入图片描述

  • html文件上的静态资源比如：图片、视频、CSS、Js等也全部放到CDN服务。
  • html上的动态数据通过异步请求后端缓存服务器加载，不要直接查询数据库，通过Redis缓存提高查询速度。
    在这里插入图片描述
  • 使用负载均衡，通过部署多个Nginx服务器共同提供服务，不仅保证系统的可用性，还可以提高系统的访问性能
  • 在前端也做一部分缓存
    不仅服务端可以做缓存，前端也可以做缓存，前端可以把缓存信息存储到
    LocalStorage： 提供了持久化存储，可以存储大量数据
    SessionStorage： 与 LocalStorage 类似，但数据只在当前会话中有效，当用户关闭标签页或浏览器时清空。
    Cookie: 存储在用户计算机上的小型文本文件，可以在客户端和服务器之间传递数据
    浏览器缓存：通过 HTTP 头部控制，比如：Cache-Control头部提供了更灵活的缓存控制选项，可以定义缓存的最大有效时间。

移动应用门户：
移动应用门户是专为移动设备（如智能手机和平板电脑）设计的应用程序，比如：小程序、APP等，用户可以通过应用商店下载并安装。这些应用程序提供了更好的用户体验，通常具有更高的性能和交互性，可以直接从设备主屏幕启动。
对于移动应用提高访问效率方法通常有：
静态资源要走CDN服务器
对所有请求进行负载均衡
在前端及服务端缓存门户上显示的动态数据。

根据上边的分析，对于Java程序员需要关注的是缓存服务的开发，主流的缓存服务器是Redis，所以我们接下来的工作重点是使用Redis为门户开发缓存服务接口。

2 缓存技术方案

2.1 需求分析

2.1.1 C端用户界面原型

本项目小程序门户首页如下图：
在这里插入图片描述

第1部分：用户允许微信授权后，自动获取当前定位，点击地址进入城市选择页面，如下图：
已开通城市是指在区域管理中所有启用的区域信息。
在这里插入图片描述
第2部分：触发搜索框进入搜索主页面，如下图：
输入关键字搜索服务信息。
在这里插入图片描述
第3部分：首页服务列表
默认展示前两个服务分类，每个服务分类下取前4个服务项（根据后台排序规则显示，如排序相同则按照更新时间倒序排列）
点击一级分类进入【全部服务】页；点击服务项进入【服务项目详情页】

第4部分：热门服务列表
这里显示在区域服务界面设置热门服务的服务项。

第5部分：全部服务
点击首页服务列表的服务分类或直接点击“全部服务”进入全部服务界面，
在这里插入图片描述
全部服务界面，如下图：
在全部服务界面需要展示当前区域下的服务分类，点击服务分类查询分类下的服务。
在这里插入图片描述
点击服务名称进入服务详情页面：
在这里插入图片描述

2.1.2 缓存需求

根据上一小节的需求分析，需要缓存的点如下：

  • 定位界面上的已开通区域列表
  • 首页服务列表
  • 服务搜索（ES）
  • 热门服务列表
  • 服务信息（点击某一个服务，服务的详细信息一部分是服务介绍的图片和内容等，一部分是区域服务信息（比如价格））
  • 服务分类（服务分类下的服务项通过Elasticsearch去查询）

2.1.3 使用的工具

  • 缓存：redis
  • 缓存客户端：Lettuce
  • 缓存访问工具：Spring data redis（RedisTemplete操作redis) 和 SpringCache（注解操作redis）

2.2 项目基础使用

2.2.1 项目集成SpringCache

问：在哪个微服务集成呢？
因为大部分缓存使用都是对于家政服务，因此肯定在家政服务那块微服务进行集成啊

引入依赖

<dependency><groupId>com.jzo2o</groupId><artifactId>jzo2o-redis</artifactId>
</dependency>

在nacos配置shared-redis-cluster.yaml，开发环境使用redis单机，配置文件如下：
在这里插入图片描述

2.2.2 测试Cacheable

执行流程是：第一次查询服务信息缓存中没有该服务的信息此时去查询数据库，查询数据库拿到服务信息并进行缓存，第二次再去查询该服务信息发现缓存中有该服务的信息则直接查询缓存不再去数据库查询。
在这里插入图片描述

需求

实现对区域服务信息查询时进行缓存

Service
    /*** 查缓存方法* @param id 对应serve表的主键* @return*/@Cacheable(value = RedisConstants.CacheName.SERVE,key = "#id")@Overridepublic Serve queryServeByIdCache(Long id) {return getById(id);}
测试
    /*缓存测试*/@Testpublic void test_queryServeByIdCache(){Serve serve = serveService.queryServeByIdCache(1693815623867506689L);Assert.notNull(serve,"服务为空");}

在这里插入图片描述

2.1.3 缓存管理器（设置过期时间）

虽然数据被成功缓存，如果想调整缓存过期时间怎么做呢？
在@Cacheable注解中有一个属性为cacheManager，表示缓存管理器，通过缓存管理器可以设置缓存过期时间。
我定义了三种缓存管理器：
缓存时间为30分钟、一天、永久，分别对应的bean的名称为：cacheManager30Minutes、cacheManagerOneDay、cacheManagerForever。

    /*** 缓存时间30分钟** @param connectionFactory redis连接工厂* @return redis缓存管理器*/@Beanpublic RedisCacheManager cacheManager30Minutes(RedisConnectionFactory connectionFactory) {int randomNum = new Random().nextInt(100);RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig().entryTtl(Duration.ofSeconds(30 * 60L + randomNum)).serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(JACKSON_SERIALIZER));return RedisCacheManager.builder(connectionFactory).cacheDefaults(config).transactionAware().build();}/*** 缓存时间1天** @param connectionFactory redis连接工厂* @return redis缓存管理器*/@Beanpublic RedisCacheManager cacheManagerOneDay(RedisConnectionFactory connectionFactory) {//生成随机数int randomNum = new Random().nextInt(6000);RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()//过期时间为基础时间加随机数.entryTtl(Duration.ofSeconds(24 * 60 * 60L + randomNum)).serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(JACKSON_SERIALIZER));return RedisCacheManager.builder(connectionFactory).cacheDefaults(config).transactionAware().build();}/*** 永久缓存** @param connectionFactory redis连接工厂* @return redis缓存管理器*/@Bean@Primarypublic RedisCacheManager cacheManagerForever(RedisConnectionFactory connectionFactory) {RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig().serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(JACKSON_SERIALIZER));return RedisCacheManager.builder(connectionFactory).cacheDefaults(config).transactionAware().build();}

2.1.4 测试CachePut（上架）

对之前写好的serviceImpl类进行注解即可：

    @Override@Transactional@CachePut(value = RedisConstants.CacheName.SERVE,key = "#id",cacheManager = RedisConstants.CacheManager.ONE_DAY)public Serve onSale(Long id)。。。。。。

2.1.5 测试CacheEvict(下架）

    @Override@Transactional@CacheEvict(value = RedisConstants.CacheName.SERVE,key = "#id")public Serve offSale(Long id)

2.3 解决缓存常见问题

2.3.1 解决缓存穿透

本项目就先用最简单的方法：缓存空值或特殊值的方法

1、对请求增加校验机制
比如：查询的Id是长整型并且是19位，如果发来的不是长整型或不符合位数则直接返回不再查询数据库。

2、缓存空值或特殊值
当查询数据库得到的数据不存在，此时我们仍然去缓存数据，缓存一个空值或一个特殊值的数据，避免每次都会查询数据库，避免缓存穿透。

3、使用布隆过滤器
布隆过滤器（Bloom Filter）是一种数据结构，用于快速判断一个元素是否属于一个集合中。
它使用多个Hash函数将一个元素映射成一个位阵列（Bit array）中的一个点，将Bit array理解为一个二进制数组，数组元素是0或1。
当一个元素加入集合时，通过N个散列函数将这个元素映射到一个Bit array中的N个点，把它们设置为1。
在这里插入图片描述
布隆过滤器的优点是：二进制数组占用空间少，插入和查询效率高效。
缺点是存在误判率，并且删除困难，因为同一个位置由于哈希冲突可能存在多个元素，删除某个元素可能删除了其它元素。

布隆过滤器的应用场景？
1、海量数据去重，比如URL去重，搜索引擎爬虫抓取网页，使用布隆过滤器可以快速判定一个URL是否已经被爬取过，避免重复爬取。
2、垃圾邮件过滤：使用布隆过滤器可以用于快速判断一个邮件地址是否是垃圾邮件发送者，对于海量的邮件地址，布隆过滤器可以提供高效的判定。
3、安全领域：在网络安全中，布隆过滤器可以用于检查一个输入值是否在黑名单中，用于快速拦截一些潜在的恶意请求。
4、避免缓存穿透：通过布隆过滤器判断是否不存在，如果不存在则直接返回。

如何代码实现布隆过滤器？
使用redit的bitmap位图结构实现。
使用redisson实现。
使用google的Guava库实现。

2.3.2 解决缓存击穿

1、使用锁（强一致性要求）
单体架构下（单进程内）可以使用同步锁控制查询数据库的代码，只允许有一个线程去查询数据库，查询得到数据库存入缓存。

synchronized(obj){//查询数据库//存入缓存
}

分布式架构下（多个进程之间）可以使用分布式锁进行控制。

// 获取分布式锁对象
RLock lock = redisson.getLock("myLock");
try {// 尝试加锁，最多等待100秒，加锁后自动解锁时间为30秒boolean isLocked = lock.tryLock(100, 30, java.util.concurrent.TimeUnit.SECONDS);if (isLocked) {//查询数据库//存入缓存} else {System.out.println("获取锁失败，可能有其他线程持有锁");}
} catch (InterruptedException e) {e.printStackTrace();
} finally {// 释放锁lock.unlock();System.out.println("释放锁...");
}

2.热点数据不过期
可以由后台程序提前将热点数据加入缓存，缓存过期时间不过期，由后台程序做好缓存同步。
例如：当服务上架后将服务信息缓存到redis且永不过期，此时需要使用put注解。

3、缓存预热
分为提前预热、定时预热。
提前预热就是提前写入缓存。
定时预热是使用定时程序去更新缓存。

2.3.3 解决缓存雪崩

1、使用锁进行控制
同2.3.2

2.对同一类型信息的key设置不同的过期时间
在这里插入图片描述
3.缓存定时预热
不用等到请求到来再去查询数据库存入缓存，可以提前将数据存入缓存。使用缓存预热机制通常有专门的后台程序去将数据库的数据同步到缓存。

2.3.2 解决双写不一致

1 使用分布式式锁
既然双写操作存在不一致，我们把写缓存改为删除缓存呢？
先写数据库再删除缓存，如果删除缓存失败了缓存也就不一致了，那我们改为：先删除缓存再写数据库，如下图：
在这里插入图片描述
线程1申请分布式锁，拿到锁。此时其它线程无法获取同一把锁。
线程1写数据库，写缓存，操作完成释放锁。
线程2申请分布锁成功，写数据库，写缓存。
对双写的操作每个线程顺序执行。
对操作异常问题仍需要解决：写数据库成功写缓存失败了，数据库需要回滚，此时就需要使用分布式事务组件。
使用分布式锁解决双写一致性不仅性能低下，复杂度增加。

2 延迟双删
在这里插入图片描述
延迟多长时间呢？
延迟主数据向从数据库同步的时间间隔，如果延迟时间设置不合理也会导致数据不一致。

3 异步同步
保证最终一致性的方案有很多，比如：通过MQ、Canal、定时任务都可以实现。
Canal是一个数据同步工具，读取MySQL的binlog日志拿到更新的数据，再通过MQ发送给异步同步程序，最终由异步同步程序写到redis。此方案适用于对数据实时性有一定要求的场景。
通过Canal加MQ异步任务方式流程如下：
在这里插入图片描述
流程如下：
线程1写数据库
canal读取binlog日志，将数据变化日志写入mq
同步程序监听mq接收到数据变化的消息
同步程序解析消息内容写入redis，写入redis成功正常消费完成，消息从mq删除。

4 定时同步
专门启动一个数据同步任务定时读取数据同步到redis，此方式适用于对数据实时性要求不强更新不频繁的数据。
在这里插入图片描述
线程1写入数据库（业务数据表，变化日志表）
同步程序读取数据库（变化日志表），根据变化日志内容写入redis，同步完成删除变化日志。

3 项目缓存的具体实现

3.1 开通区域列表缓存实现

对应的需求：
在这里插入图片描述

3.1.1 缓存方案

在这里插入图片描述
下边分析第一个开通区域列表的缓存方案：
查询缓存：查询已开通区域列表，如果没有缓存则查询数据库并将查询结果进行缓存，如果存在缓存则直接返回
启用区域：删除开通区域信息缓存（再次查询将缓存新的开通区域列表）。
禁用区域：删除开通区域信息缓存，删除该区域下的其它缓存信息，包括：首页服务列表，服务类型列表，热门服务列表。
定时任务：每天凌晨缓存已开通区域列表。

3.1.2 查询缓存实现

这篇关于小熊家务帮day10- 门户管理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1028773。

相关文章

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
软考系统规划与管理师考试证书含金量高吗？

软考系统规划与管理师考试证书含金量高吗？

2024年软考系统规划与管理师考试报名时间节点： 报名时间：2024年上半年软考将于3月中旬陆续开始报名 考试时间：上半年5月25日到28日，下半年11月9日到12日 分数线：所有科目成绩均须达到45分以上（包括45分）方可通过考试 成绩查询：可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间：预计在11月左右 证书领取时间：一般在考试成绩公布后3~4个月，各地领取时间有所不同
阅读更多...
安全管理体系化的智慧油站开源了。

安全管理体系化的智慧油站开源了。

AI视频监控平台简介 AI视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。用户只需在界面上进行简单的操作，就可以实现全视频的接入及布控。摄像头管理模块用于多种终端设备、智能设备的接入及管理。平台支持包括摄像头等终端感知设备接入，为整个平台提
阅读更多...
从状态管理到性能优化：全面解析 Android Compose

从状态管理到性能优化：全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动
阅读更多...
Sentinel 高可用流量管理框架

Sentinel 高可用流量管理框架

Sentinel 是面向分布式服务架构的高可用流量防护组件，主要以流量为切入点，从限流、流量整形、熔断降级、系统负载保护、热点防护等多个维度来帮助开发者保障微服务的稳定性。 Sentinel 具有以下特性: 丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应
阅读更多...
NGINX轻松管理10万长连接 --- 基于2GB内存的CentOS 6.5 x86-64

NGINX轻松管理10万长连接 --- 基于2GB内存的CentOS 6.5 x86-64

转自：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=190176&id=4234854 一 前言 当管理大量连接时，特别是只有少量活跃连接，NGINX有比较好的CPU和RAM利用率，如今是多终端保持在线的时代，更能让NGINX发挥这个优点。本文做一个简单测试，NGINX在一个普通PC虚拟机上维护100k的HTTP
阅读更多...
PMBOK® 第六版 规划进度管理

PMBOK® 第六版 规划进度管理

目录 读后感—PMBOK第六版 目录 规划进度管理主要关注为整个项目期间的进度管理提供指南和方向。以下是两个案例，展示了进度管理中的复杂性和潜在的冲突： 案例一：近期，一个长期合作的客户因政策要求，急需我们为多家医院升级一个小功能。在这个过程中出现了三个主要问题： 在双方确认接口协议后，客户私自修改接口并未通知我们，直到催进度时才发现这个问题关于UI设计的部分，后台开发人员未将其传递给
阅读更多...
PHP原理之内存管理中难懂的几个点

PHP原理之内存管理中难懂的几个点

PHP的内存管理, 分为俩大部分, 第一部分是PHP自身的内存管理, 这部分主要的内容就是引用计数, 写时复制, 等等面向应用的层面的管理. 而第二部分就是今天我要介绍的, zend_alloc中描写的关于PHP自身的内存管理, 包括它是如何管理可用内存, 如何分配内存等. 另外, 为什么要写这个呢, 因为之前并没有任何资料来介绍PHP内存管理中使用的策略, 数据结构, 或者算法. 而在我们
阅读更多...
C++学习笔记----6、内存管理（四）---- 通常的内存陷阱（2）

C++学习笔记----6、内存管理（四）---- 通常的内存陷阱（2）

3、Windows环境下使用Visual C++发现并修复内存渗露         内存渗露很难跟踪是因为你无法很容易地看着内存并且看到什么对象处于使用中，一开始在哪儿分配的内存。然而，是有程序可以为你做到这一点的。内存渗露检测工具有昂贵的专业软件包，也有免费下载的工具。如果你是在Microsoft Visual C++环境下工作，它的排错工具库有内建的对于内存渗露检测的支持。该内存检测默认没有
阅读更多...
FreeRTOS学习笔记（四）Freertos的中断管理及临界保护

FreeRTOS学习笔记（四）Freertos的中断管理及临界保护

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、Cortex-M 中断管理1.1 中断优先级分组1.2 相关寄存器1.3 相关宏定义1.4 FreeRTOS 开关中断 二、临界段及其保护2.1 taskENTER_CRITICAL( ) 和 taskEXIT_CRITICAL( )2.2 taskENTER_CRITICAL_FROM_ISR( )
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2