12306项目学习笔记（框架篇cache）

2024-09-03 08:04
文章标签 学习 项目 笔记 框架 cache 12306

本文主要是介绍12306项目学习笔记（框架篇cache），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

BloomFilterPenetrateProperties

@ConfigurationProperties(prefix = BloomFilterPenetrateProperties.PREFIX): 指定这个类的属性会从配置文件中读取，前缀为 framework.cache.redis.bloom-filter.default。

    /*** 每个元素的预期插入量*/private Long expectedInsertions = 64L;/*** 预期错误概率*/private Double falseProbability = 0.03D;

这两个参数都会直接影响布隆过滤器创建的数组长度。错误概率还会影响使用的哈希算法的个数。

概率设置过大会显著增加误判几率，过小会显著增加判断时间，性能较差。需要合理的去设置。

RedisKeySerializer

@RequiredArgsConstructor接收所有final字段的参数并按照
    private final String keyPrefix;private final String charsetName;private Charset charset;

为顺序将参数值传入。

RedisKeySerializer 类是一个自定义的 Redis 键序列化器，实现了 RedisSerializer<String> 接口，用于处理 Redis 中键的序列化和反序列化。

  • InitializingBean: 这个接口要求实现 afterPropertiesSet() 方法，在 Spring 容器初始化 Bean 后被调用。
  • RedisSerializer<String>: 这个接口定义了序列化和反序列化的方法，用于处理 Redis 中的键。

private final String keyPrefix;

  • Redis 键的前缀，用于在序列化时为每个键添加特定的前缀，以避免键冲突。

private final String charsetName;

  • 字符集名称，用于在反序列化时将字节数组转换为字符串。

private Charset charset;

  • Charset 对象，用于在反序列化时指定字符集。

serialize(String key)

  • 功能: 将给定的字符串键序列化为字节数组。
  • 实现: 在序列化过程中，将 keyPrefix 和传入的 key 连接起来，然后调用 getBytes() 方法将其转换为字节数组。

deserialize(byte[] bytes)

  • 功能: 将字节数组反序列化为字符串。
  • 实现: 使用指定的字符集将字节数组转换为字符串。、

afterPropertiesSet()

  • 功能: 在 Bean 初始化后调用，用于设置字符集。
  • 实现: 根据 charsetName 初始化 charset 字段。

RedisDistributedProperties

RedisDistributedProperties 类是一个用于配置 Redis 相关属性的 Java 类，使用了 Spring Boot 的 @ConfigurationProperties 注解。这个类的主要目的是将配置文件中的 Redis 相关属性映射到 Java 对象中，以便在应用程序中使用。

  • public static final String PREFIX: 定义了配置属性的前缀，便于在其他地方引用。
  • private String prefix: Redis 键的前缀，默认为空字符串。这个前缀可以用于区分不同模块或应用的数据，避免键冲突。
  • private String prefixCharset: Key 前缀的字符集，默认为 "UTF-8"。这个属性指定了在序列化和反序列化过程中使用的字符集。
  • private Long valueTimeout: 默认的超时时间，默认为 30000L（30秒）。这个属性用于设置 Redis 中存储数据的过期时间。
  • private TimeUnit valueTimeUnit: 时间单位，默认为 TimeUnit.MILLISECONDS。这个属性指定了 valueTimeout 的单位，可以是秒、毫秒等。

在 application.yml 或 application.properties 文件中，可以通过以下方式配置 Redis 的属性：

framework:cache:redis:prefix: "myapp:"prefixCharset: "UTF-8"valueTimeout: 60000  # 60秒valueTimeUnit: SECONDS

CacheAutoConfiguration

@AllArgsConstructor

@AllArgsConstructor 注解时，Lombok 会自动生成一个构造函数，该构造函数包含类中所有的字段作为参数。

在 Spring 应用中，使用 @AllArgsConstructor 可以方便地创建带有依赖的 Bean。例如，在配置类中注入多个属性时，可以使用构造函数注入，确保所有依赖项在创建时都被提供。

@EnableConfigurationProperties

  • 启用对 RedisDistributedProperties 和 BloomFilterPenetrateProperties 类的配置属性支持。这意味着这两个类中定义的属性可以通过配置文件进行设置。

创建 Redis Key 序列化器，可自定义 Key Prefix

    @Beanpublic RedisKeySerializer redisKeySerializer() {String prefix = redisDistributedProperties.getPrefix();String prefixCharset = redisDistributedProperties.getPrefixCharset();return new RedisKeySerializer(prefix, prefixCharset);}

创建默认布隆过滤器的 Bean

  • @ConditionalOnProperty 注解: 这个注解用于条件性地创建 Bean。它检查配置文件中是否存在特定的属性，并根据该属性的值决定是否创建该 Bean。在这里，它检查 framework.cache.redis.bloom-filter.default.enabled 是否设置为 true。只有在该属性为 true 时，cachePenetrationBloomFilter 方法才会被调用。
  • redissonClient.getBloomFilter(bloomFilterPenetrateProperties.getName()): 使用 Redisson 客户端获取布隆过滤器的实例。
  • 布隆过滤器的名称、预期插入量和误判概率是通过 BloomFilterPenetrateProperties 获取的。

这个默认的布隆过滤器其实在项目中并没有实际的使用，只有用户管理模块使用了一个重新定义的

userRegisterCachePenetrationBloomFilter，专门用于用户注册相关的逻辑。

stringRedisTemplateProxy

@Bean
// 静态代理模式: Redis 客户端代理类增强
public StringRedisTemplateProxy stringRedisTemplateProxy(RedisKeySerializer redisKeySerializer,StringRedisTemplate stringRedisTemplate,RedissonClient redissonClient) {stringRedisTemplate.setKeySerializer(redisKeySerializer);return new StringRedisTemplateProxy(stringRedisTemplate, redisDistributedProperties, redissonClient);
}
stringRedisTemplate.setKeySerializer(redisKeySerializer);
  • 设置键序列化器: 这行代码将 redisKeySerializer 设置为 stringRedisTemplate 的键序列化器。这意味着在进行 Redis 操作时，所有的键都会使用这个序列化器进行序列化和反序列化。
return new StringRedisTemplateProxy(stringRedisTemplate, redisDistributedProperties, redissonClient);

返回对象交给spring容器管理

CacheGetFilter<T>接口

boolean filter(T param);

解决布隆过滤器的不能删除的问题，但是目前没有实现具体逻辑。这是我的实现方法。

  1. 当用户注销时,将用户名添加到第一层布隆过滤器。
  2. 当用户注册时,先检查第二层布隆过滤器,如果用户名不在第二层过滤器中,则允许注册。
  3. 即使一个已注销的用户名被重新使用,也允许注册。
  4. 每天从数据库中检查已注销用户,重构第一层布隆过滤器。

CacheGetIfAbsent<T>接口

同样没有实现类，用于缓存未命中时，允许用户根据具体需求实现自定义的逻辑。

CacheLoader<T>接口

主要用于定义加载缓存的逻辑。它的设计目的是提供一种机制来从某个数据源（如数据库、外部服务等）加载数据并将其放入缓存中。

public class UserCacheLoader implements CacheLoader<User> {private final UserService userService; // 假设这是一个服务类，用于查询用户数据public UserCacheLoader(UserService userService) {this.userService = userService;}@Overridepublic User load() {// 从数据库加载用户数据return userService.findUserByUsername("exampleUser"); // 示例用户名}
}

CacheUtil

buildKey 方法

public static String buildKey(String... keys) {Stream.of(keys).forEach(each -> Optional.ofNullable(Strings.emptyToNull(each)).orElseThrow(() -> new RuntimeException("构建缓存 key 不允许为空")));return Joiner.on(SPLICING_OPERATOR).join(keys);
}

1. Stream.of(keys)

  • 功能：将传入的可变参数 keys 转换为一个流（Stream）。这使得可以对这些键进行流式操作。
  • 用途：流式操作提供了一种更简洁和可读的方式来处理集合或数组中的元素。

2. forEach(each -> ...)

  • 功能：对流中的每个元素（每个键）执行指定的操作。
  • 参数：each 是流中当前处理的元素（即当前的键）。

3. Optional.ofNullable(Strings.emptyToNull(each))

  • Strings.emptyToNull(each)：
    • 这个方法来自 Guava 库，它的作用是将空字符串转换为 null。如果 each 是空字符串，则返回 null；如果不是空字符串，则返回原始字符串。
  • Optional.ofNullable(...)：
    • 将可能为 null 的值包装在 Optional 对象中。如果 each 为 null，则创建一个空的 Optional；如果 each 不为 null，则创建一个包含该值的 Optional。

4. orElseThrow(...)

  • 功能：如果 Optional 是空的（即 each 为 null 或空字符串），则抛出异常。
  • 逻辑：在这里，使用 orElseThrow 方法来指定一个异常的生成逻辑。如果 Optional 中没有值，则抛出 RuntimeException，并提供错误消息 "构建缓存 key 不允许为空"

5.Joiner.on(SPLICING_OPERATOR).join(keys)

使用 Joiner.on(SPLICING_OPERATOR).join(keys) 将所有键连接成一个字符串，使用 _ 作为分隔符。

public static boolean isNullOrBlank(Object cacheVal) {return cacheVal == null || (cacheVal instanceof String && Strings.isNullOrEmpty((String) cacheVal));
}
  • 功能：判断给定的值是否为 null 或空字符串。
  • 参数：接受一个 Object 类型的参数 cacheVal。
  • 逻辑：
    • 检查 cacheVal 是否为 null，或者如果是字符串，检查其是否为空。
  • 返回值：返回一个布尔值，true 表示 cacheVal 为 null 或空字符串，false 表示不是。

CacheUtil 类提供了两个实用的静态方法，buildKey 用于构建缓存标识，isNullOrBlank 用于判断缓存值的有效性。

FastJson2Util

FastJson2Util 是一个工具类，主要用于构建 Java 泛型类型（Type）的实例，以便在使用 FastJSON 进行序列化和反序列化时能够正确处理泛型。

Cache 接口

Object getInstance();

获取底层缓存组件的实例。

DistributedCache 接口

DistributedCache 接口扩展了 Cache 接口，提供了一组用于分布式缓存的操作方法。这个接口主要用于处理缓存的获取、存储和管理，特别是在高并发和分布式环境中。

StringRedisTemplateProxy

StringRedisTemplateProxy 类是一个实现了 DistributedCache 接口的具体类，主要用于封装 Redis 操作，提供了一系列用于缓存的功能。这个类结合了 Redisson 和 Spring Data Redis 的功能，允许开发者在高并发环境下安全地管理缓存。

private <T> T loadAndSet(String key, CacheLoader<T> cacheLoader, long timeout, TimeUnit timeUnit, boolean safeFlag, RBloomFilter<String> bloomFilter) {T result = cacheLoader.load();if (CacheUtil.isNullOrBlank(result)) {return result;}if (safeFlag) {safePut(key, result, timeout, timeUnit, bloomFilter);} else {put(key, result, timeout, timeUnit);}return result;
}

从数据源加载数据并将其存入布隆过滤器。

@Override
public Boolean putIfAllAbsent(@NotNull Collection<String> keys) {DefaultRedisScript<Boolean> actual = Singleton.get(LUA_PUT_IF_ALL_ABSENT_SCRIPT_PATH, () -> {DefaultRedisScript redisScript = new DefaultRedisScript();redisScript.setScriptSource(new ResourceScriptSource(new ClassPathResource(LUA_PUT_IF_ALL_ABSENT_SCRIPT_PATH)));redisScript.setResultType(Boolean.class);return redisScript;});Boolean result = stringRedisTemplate.execute(actual, Lists.newArrayList(keys), redisProperties.getValueTimeout().toString());return result != null && result;
}
  • Lua 脚本：使用 Lua 脚本来实现原子操作。Lua 脚本在 Redis 中执行，可以确保在执行过程中不被其他操作打断。
  • Singleton.get(...)：通过单例模式获取 Lua 脚本，确保脚本只被加载一次，提高性能。
  • setScriptSource：设置 Lua 脚本的来源，这里通过 ClassPathResource 加载脚本文件。
  • setResultType：指定脚本执行后返回的结果类型，这里为 Boolean.class。
  • 执行脚本：通过 stringRedisTemplate.execute(...) 方法执行 Lua 脚本。
    • 参数：
      • actual：要执行的 Lua 脚本。
      • Lists.newArrayList(keys)：将传入的键集合转换为列表，以便传递给脚本。
      • redisProperties.getValueTimeout().toString()：将超时时间作为参数传递给脚本（具体使用取决于脚本的实现）。
  • 返回值：result 是脚本执行的结果，表示所有键是否成功放入缓存。
for i, v in ipairs(KEYS) doif (redis.call('exists', v) == 1) thenreturn nil;end
end
  • 遍历 KEYS：使用 ipairs 遍历 KEYS 表中的每个键。
  • 检查键是否存在：对于每个键 v，使用 redis.call('exists', v) 检查它是否存在于 Redis 中。
    • 如果 exists 命令返回 1，表示键存在，则立即返回 nil，表示操作失败。
for i, v in ipairs(KEYS) doredis.call('set', v, 'default');redis.call('pexpire', v, ARGV[1]);
end
  • 遍历 KEYS：再次遍历 KEYS 表中的每个键。
  • 设置键值对：对于每个键 v，使用 redis.call('set', v, 'default') 将其设置为默认值（这里使用 'default'）。
  • 设置过期时间：使用 redis.call('pexpire', v, ARGV) 为键设置毫秒级过期时间。这里的 ARGV 是一个参数，表示过期时间。

这篇关于12306项目学习笔记（框架篇cache）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1132469。

相关文章

C语言小项目实战之通讯录功能

C语言小项目实战之通讯录功能

《C语言小项目实战之通讯录功能》：本文主要介绍如何设计和实现一个简单的通讯录管理系统,包括联系人信息的存储、增加、删除、查找、修改和排序等功能,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录功能介绍：添加联系人模块显示联系人模块删除联系人模块查找联系人模块修改联系人模块排序联系人模块源代码如下
阅读更多...
SpringBoot项目中Maven剔除无用Jar引用的最佳实践

SpringBoot项目中Maven剔除无用Jar引用的最佳实践

《SpringBoot项目中Maven剔除无用Jar引用的最佳实践》在SpringBoot项目开发中,Maven是最常用的构建工具之一,通过Maven,我们可以轻松地管理项目所需的依赖,而,... 目录1、引言2、Maven 依赖管理的基础概念2.1 什么是 Maven 依赖2.2 Maven 的依赖传递机
阅读更多...
Vue项目中Element UI组件未注册的问题原因及解决方法

Vue项目中Element UI组件未注册的问题原因及解决方法

《Vue项目中ElementUI组件未注册的问题原因及解决方法》在Vue项目中使用ElementUI组件库时,开发者可能会遇到一些常见问题,例如组件未正确注册导致的警告或错误,本文将详细探讨这些问题... 目录引言一、问题背景1.1 错误信息分析1.2 问题原因二、解决方法2.1 全局引入 Element
阅读更多...
Python 中 requests 与 aiohttp 在实际项目中的选择策略详解

Python 中 requests 与 aiohttp 在实际项目中的选择策略详解

《Python中requests与aiohttp在实际项目中的选择策略详解》本文主要介绍了Python爬虫开发中常用的两个库requests和aiohttp的使用方法及其区别,通过实际项目案... 目录一、requests 库二、aiohttp 库三、requests 和 aiohttp 的比较四、requ
阅读更多...
SpringBoot项目启动后自动加载系统配置的多种实现方式

SpringBoot项目启动后自动加载系统配置的多种实现方式

《SpringBoot项目启动后自动加载系统配置的多种实现方式》：本文主要介绍SpringBoot项目启动后自动加载系统配置的多种实现方式,并通过代码示例讲解的非常详细,对大家的学习或工作有一定的... 目录1. 使用 CommandLineRunner实现方式：2. 使用 ApplicationRunne
阅读更多...
使用IntelliJ IDEA创建简单的Java Web项目完整步骤

使用IntelliJ IDEA创建简单的Java Web项目完整步骤

《使用IntelliJIDEA创建简单的JavaWeb项目完整步骤》：本文主要介绍如何使用IntelliJIDEA创建一个简单的JavaWeb项目,实现登录、注册和查看用户列表功能,使用Se... 目录前置准备项目功能实现步骤1. 创建项目2. 配置 Tomcat3. 项目文件结构4. 创建数据库和表5.
阅读更多...
Python项目打包部署到服务器的实现

Python项目打包部署到服务器的实现

《Python项目打包部署到服务器的实现》本文主要介绍了PyCharm和Ubuntu服务器部署Python项目,包括打包、上传、安装和设置自启动服务的步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录一、准备工作二、项目打包三、部署到服务器四、设置服务自启动一、准备工作开发环境：本文以PyChar
阅读更多...
多模块的springboot项目发布指定模块的脚本方式

多模块的springboot项目发布指定模块的脚本方式

《多模块的springboot项目发布指定模块的脚本方式》该文章主要介绍了如何在多模块的SpringBoot项目中发布指定模块的脚本,作者原先的脚本会清理并编译所有模块,导致发布时间过长,通过简化脚本... 目录多模块的springboot项目发布指定模块的脚本1、不计成本地全部发布2、指定模块发布总结多模
阅读更多...
SpringBoot项目删除Bean或者不加载Bean的问题解决

SpringBoot项目删除Bean或者不加载Bean的问题解决

《SpringBoot项目删除Bean或者不加载Bean的问题解决》文章介绍了在SpringBoot项目中如何使用@ComponentScan注解和自定义过滤器实现不加载某些Bean的方法,本文通过实... 使用@ComponentScan注解中的@ComponentScan.Filter标记不加载。@C
阅读更多...
python实现自动登录12306自动抢票功能

python实现自动登录12306自动抢票功能

《python实现自动登录12306自动抢票功能》随着互联网技术的发展,越来越多的人选择通过网络平台购票,特别是在中国,12306作为官方火车票预订平台,承担了巨大的访问量,对于热门线路或者节假日出行... 目录一、遇到的问题？二、改进三、进阶–展望总结一、遇到的问题？1.url-正确的表头：就是首先ur
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2