zdppy+vue3+onlyoffice文档管理系统实战 20240825上课笔记 zdppy_cache框架增加resize清理缓存的方法

2024-08-26 07:12
文章标签 javascript 实战 文档 管理系统 方法 笔记 vue vue3 框架 清理 缓存 frontend cache resize 增加 onlyoffice 上课 zdppy 20240825

本文主要是介绍zdppy+vue3+onlyoffice文档管理系统实战 20240825上课笔记 zdppy_cache框架增加resize清理缓存的方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

遗留问题

  • 设置缓存，已完成
  • 获取缓存，已实现
  • 删除缓存，已实现
  • 查询所有key，带查询参数：active只查激活的，value包含value默认只获取key
  • 查询缓存大小
  • 清空缓存
  • 判断是否为管理员

实现删除缓存的接口

async def delete(req):"""删除缓存的接口"""data = await api.req.get_json(req)key = data.get("key")admin_cache.delete(key)return api.resp.success()

测试：

req -X DELETE -d '{\"key\":1}' http://127.0.0.1:8888/zdppy_cache

查询缓存接口

基本设计

批量查询缓存信息：
```bash
# 默认查询所有的key，
req  http://127.0.0.1:8888/zdppy_caches# 只查询未过期的keys
req -d '{\"active\":true}' http://127.0.0.1:8888/zdppy_caches# 查看key-value格式
req -d '{\"active\":true, \"value\":true}' http://127.0.0.1:8888/zdppy_caches# 查询详细缓存信息
req -d '{\"active\":true, \"value\":true, \"detail\":true}' http://127.0.0.1:8888/zdppy_caches

先实现默认查询所有的key

async def query(req):"""查询缓存的接口"""params = await api.req.get_json(req)if params.get("error"):params = Nonedata = admin_cache.get_all_keys()return api.resp.success({"query": params,"data": data,})

只查询未过期的

async def query(req):"""查询缓存的接口"""params = await api.req.get_json(req)data = []if params.get("error"):params = None# 查询所有的keydata = admin_cache.get_all_keys()elif params.get("active"):# 只查询未过期的data = admin_cache.get_all_keys(True)return api.resp.success({"query": params,"data": data,})

设置缓存：

req -X POST -d '{\"key\":1,\"value\":111, \"expire\": 1}' http://127.0.0.1:8888/zdppy_cache
req -X POST -d '{\"key\":2,\"value\":222, \"expire\": 2}' http://127.0.0.1:8888/zdppy_cache
req -X POST -d '{\"key\":3,\"value\":333, \"expire\": 333}' http://127.0.0.1:8888/zdppy_cache

先查询所有的key：

req http://127.0.0.1:8888/zdppy_caches

只查询未过期的key：

req -d '{\"active\":true}' http://127.0.0.1:8888/zdppy_caches

自动清理缓存的逻辑

底层核心代码

def _cull(self, now, sql, cleanup, limit=None):"""这个方法是用来清空过期缓存的，无论是否超过限制:param now: 当前时间的秒值，浮点数:param sql: 执行清除的SQL语句:param cleanup: 要清除的文件夹（缓存对象）:param limit: 限制多少"""cull_limit = self.cull_limit if limit is None else limitif cull_limit == 0:return# 查询已经过期的keyselect_expired_template = ('SELECT %s FROM Cache'' WHERE expire_time IS NOT NULL AND expire_time < ?'' ORDER BY expire_time LIMIT ?')select_expired = select_expired_template % 'filename'rows = sql(select_expired, (now, cull_limit)).fetchall()if rows:# 如果查询到了就删除delete_expired = 'DELETE FROM Cache WHERE rowid IN (%s)' % (select_expired_template % 'rowid')sql(delete_expired, (now, cull_limit))for (filename,) in rows:cleanup(filename)cull_limit -= len(rows)if cull_limit == 0:return# Evict keys by policy.select_policy = EVICTION_POLICY[self.eviction_policy]['cull']if select_policy is None or self.volume() < self.size_limit:returnselect_filename = select_policy.format(fields='filename', now=now)rows = sql(select_filename, (cull_limit,)).fetchall()if rows:delete = 'DELETE FROM Cache WHERE rowid IN (%s)' % (select_policy.format(fields='rowid', now=now))sql(delete, (cull_limit,))for (filename,) in rows:cleanup(filename)

现在的问题

我们每次set的时候，它都会触发，默认会删除最早过期的十个缓存。

这样不太合理？

因为我只有三个缓存，但是因为过期时间可能比较短，会导致每次set的时候，另一个都可能被删除，这样的库里面找不到全量的记录。

这个方法默认只删除十条，少的时候删除了不爽。多的时候，比如一下子几百个过期，只删除10条好像也没啥用？

你拿过期的缓存来干啥？

  • 1、开发运维的时候可以查询
  • 2、可以感知到别人的攻击，留底别人的记录，比如一下子多了很多失效的验证码，这属于异常数据，可以被分析出来

什么时候清除合适？

  • 1、定时任务，但是这个成本比较高，因为有个定时任务必须随时跑着，可能需要消耗不少系统资源
  • 2、通过物理上限，也就是size_limit这个参数去控制，这个是比较合理的

size_limit 到底有没有生效？

通过全局密码搜索，我们可以发现，只有_cull这个方法用到了size_limit这个参数。
在这里插入图片描述

这段代码是：

# 根据policy执行删除
# least-recently-stored
select_policy = EVICTION_POLICY[self.eviction_policy]['cull']
# 默认是：SELECT {fields} FROM Cache ORDER BY store_time LIMIT ?
if select_policy is None or self.volume() < self.size_limit:return
select_filename = select_policy.format(fields='filename', now=now)
rows = sql(select_filename, (cull_limit,)).fetchall()
if rows:delete = 'DELETE FROM Cache WHERE rowid IN (%s)' % (select_policy.format(fields='rowid', now=now))sql(delete, (cull_limit,))for (filename,) in rows:cleanup(filename)

这里的代码从理论上来说是没啥问题的，但是确实不太符合如下需求：

  • 1、开发运维的时候可以查询已过期的缓存
  • 2、可以感知到别人的攻击，留底别人的记录，比如一下子多了很多失效的验证码，这属于异常数据，可以被分析出来

得出结论：这个方法应该被优化。

怎么优化？

  • 1、set的时候执行的清空缓存的逻辑，没有必要特别的复杂，我们只希望，如果超过了size_limit，则清空缓存。
  • 2、到底清空多少呢？
    • 1、最早过期的10，100，1000条
    • 2、所有已过期的缓存
  • 3、想法：除了最近过期的1000条缓存，其他的都删除！！！

SQL怎么实现清空逻辑

想法：除了最近过期的1000条缓存，其他的都删除！！！

最近的1000条数据的ID。

select id from cache order by add_time desc limit 1000

删除不是这些ID的：ids

delete from cache where id not in ids

核心代码：

DELETE FROM your_table_name WHERE id NOT IN (1, 3, 5);

如果封装成子查询就是：

DELETE FROM your_table_name WHERE id NOT IN (select id from cache order by add_time desc limit 1000);

封装方法

def resize(self):"""根据size_limit缓存上限清理缓存会删除除了最近1000条已过期的缓存以外的其他所有缓存"""child_sql = "SELECT rowid FROM Cache ORDER BY expire_time DESC LIMIT 1000"delete_sql = f'DELETE FROM Cache WHERE rowid NOT IN {child_sql}'self._sql(delete_sql)

测试：sizelimit设置的小一点，比如100。插入2000条1秒过期的数据，查询所有的keys个数。调用resize方法，再查询所有的keys的个数。

from zdppy_cache import Cache# 实例化缓存对象，指定缓存目录
cache = Cache('tmp')
for i in range(2000):cache.set(f"k{i}", i, 1)
print(len(cache.get_all_keys()))cache.resize(1111)
print("resize之后", len(cache.get_all_keys()))# 关闭缓存对象
cache.close()

清除总结

  • 1、delete_all：物理删除，整个文件夹删除
  • 2、delte：删除key对应的
  • 3、resize：只保留最近limit条删除

需求

  • 1、将resize封装为api接口
  • 2、查询所有key，带查询参数：active只查激活的，value包含value默认只获取key
  • 3、查询缓存大小
  • 4、清空缓存
  • 5、判断是否为管理员

这篇关于zdppy+vue3+onlyoffice文档管理系统实战 20240825上课笔记 zdppy_cache框架增加resize清理缓存的方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1107899。

相关文章

vue基于ElementUI动态设置表格高度的3种方法

vue基于ElementUI动态设置表格高度的3种方法

《vue基于ElementUI动态设置表格高度的3种方法》ElementUI+vue动态设置表格高度的几种方法,抛砖引玉,还有其它方法动态设置表格高度,大家可以开动脑筋... 方法一、css + js的形式这个方法需要在表格外层设置一个div，原理是将表格的高度设置成外层div的高度，所以外层的div需要
阅读更多...
C语言小项目实战之通讯录功能

C语言小项目实战之通讯录功能

《C语言小项目实战之通讯录功能》：本文主要介绍如何设计和实现一个简单的通讯录管理系统,包括联系人信息的存储、增加、删除、查找、修改和排序等功能,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录功能介绍：添加联系人模块显示联系人模块删除联系人模块查找联系人模块修改联系人模块排序联系人模块源代码如下
阅读更多...
Python判断for循环最后一次的6种方法

Python判断for循环最后一次的6种方法

《Python判断for循环最后一次的6种方法》在Python中,通常我们不会直接判断for循环是否正在执行最后一次迭代,因为Python的for循环是基于可迭代对象的,它不知道也不关心迭代的内部状态... 目录1.使用enuhttp://www.chinasem.cnmerate()和len()来判断for
阅读更多...
Java循环创建对象内存溢出的解决方法

Java循环创建对象内存溢出的解决方法

《Java循环创建对象内存溢出的解决方法》在Java中,如果在循环中不当地创建大量对象而不及时释放内存,很容易导致内存溢出（OutOfMemoryError）,所以本文给大家介绍了Java循环创建对象... 目录问题1. 解决方案2. 示例代码2.1 原始版本（可能导致内存溢出）2.2 修改后的版本问题在
阅读更多...
四种Flutter子页面向父组件传递数据的方法介绍

四种Flutter子页面向父组件传递数据的方法介绍

《四种Flutter子页面向父组件传递数据的方法介绍》在Flutter中,如果父组件需要调用子组件的方法,可以通过常用的四种方式实现,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录方法 1：使用 GlobalKey 和 State 调用子组件方法方法 2：通过回调函数（Callb
阅读更多...
一文详解Python中数据清洗与处理的常用方法

一文详解Python中数据清洗与处理的常用方法

《一文详解Python中数据清洗与处理的常用方法》在数据处理与分析过程中,缺失值、重复值、异常值等问题是常见的挑战,本文总结了多种数据清洗与处理方法,文中的示例代码简洁易懂,有需要的小伙伴可以参考下... 目录缺失值处理重复值处理异常值处理数据类型转换文本清洗数据分组统计数据分箱数据标准化在数据处理与分析过
阅读更多...
Java中Object类的常用方法小结

Java中Object类的常用方法小结

《Java中Object类的常用方法小结》JavaObject类是所有类的父类,位于java.lang包中,本文为大家整理了一些Object类的常用方法,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. public boolean equals(Object obj)2. public int ha
阅读更多...
golang1.23版本之前 Timer Reset方法无法正确使用

golang1.23版本之前 Timer Reset方法无法正确使用

《golang1.23版本之前TimerReset方法无法正确使用》在Go1.23之前,使用`time.Reset`函数时需要先调用`Stop`并明确从timer的channel中抽取出东西,以避... 目录golang1.23 之前 Reset ​到底有什么问题golang1.23 之前到底应该如何正确的
阅读更多...
Vue项目中Element UI组件未注册的问题原因及解决方法

Vue项目中Element UI组件未注册的问题原因及解决方法

《Vue项目中ElementUI组件未注册的问题原因及解决方法》在Vue项目中使用ElementUI组件库时,开发者可能会遇到一些常见问题,例如组件未正确注册导致的警告或错误,本文将详细探讨这些问题... 目录引言一、问题背景1.1 错误信息分析1.2 问题原因二、解决方法2.1 全局引入 Element
阅读更多...
详解如何在React中执行条件渲染

详解如何在React中执行条件渲染

《详解如何在React中执行条件渲染》在现代Web开发中,React作为一种流行的JavaScript库,为开发者提供了一种高效构建用户界面的方式,条件渲染是React中的一个关键概念,本文将深入探讨... 目录引言什么是条件渲染？基础示例使用逻辑与运算符（&&）使用条件语句列表中的条件渲染总结引言在现代
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2