漫话Redis源码之一百零二

2024-02-06 09:32

本文主要是介绍漫话Redis源码之一百零二,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本模块主要实现defrag回调机制,可以细看一下,还挺巧妙的:

/* A module that implements defrag callback mechanisms.*/#define REDISMODULE_EXPERIMENTAL_API
#include "redismodule.h"static RedisModuleType *FragType;struct FragObject {unsigned long len;void **values;int maxstep;
};/* Make sure we get the expected cursor */
unsigned long int last_set_cursor = 0;unsigned long int datatype_attempts = 0;
unsigned long int datatype_defragged = 0;
unsigned long int datatype_resumes = 0;
unsigned long int datatype_wrong_cursor = 0;
unsigned long int global_attempts = 0;
unsigned long int global_defragged = 0;int global_strings_len = 0;
RedisModuleString **global_strings = NULL;static void createGlobalStrings(RedisModuleCtx *ctx, int count)
{global_strings_len = count;global_strings = RedisModule_Alloc(sizeof(RedisModuleString *) * count);for (int i = 0; i < count; i++) {global_strings[i] = RedisModule_CreateStringFromLongLong(ctx, i);}
}static int defragGlobalStrings(RedisModuleDefragCtx *ctx)
{for (int i = 0; i < global_strings_len; i++) {RedisModuleString *new = RedisModule_DefragRedisModuleString(ctx, global_strings[i]);global_attempts++;if (new != NULL) {global_strings[i] = new;global_defragged++;}}return 0;
}static void FragInfo(RedisModuleInfoCtx *ctx, int for_crash_report) {REDISMODULE_NOT_USED(for_crash_report);RedisModule_InfoAddSection(ctx, "stats");RedisModule_InfoAddFieldLongLong(ctx, "datatype_attempts", datatype_attempts);RedisModule_InfoAddFieldLongLong(ctx, "datatype_defragged", datatype_defragged);RedisModule_InfoAddFieldLongLong(ctx, "datatype_resumes", datatype_resumes);RedisModule_InfoAddFieldLongLong(ctx, "datatype_wrong_cursor", datatype_wrong_cursor);RedisModule_InfoAddFieldLongLong(ctx, "global_attempts", global_attempts);RedisModule_InfoAddFieldLongLong(ctx, "global_defragged", global_defragged);
}struct FragObject *createFragObject(unsigned long len, unsigned long size, int maxstep) {struct FragObject *o = RedisModule_Alloc(sizeof(*o));o->len = len;o->values = RedisModule_Alloc(sizeof(RedisModuleString*) * len);o->maxstep = maxstep;for (unsigned long i = 0; i < len; i++) {o->values[i] = RedisModule_Calloc(1, size);}return o;
}/* FRAG.RESETSTATS */
static int fragResetStatsCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {REDISMODULE_NOT_USED(argv);REDISMODULE_NOT_USED(argc);datatype_attempts = 0;datatype_defragged = 0;datatype_resumes = 0;datatype_wrong_cursor = 0;global_attempts = 0;global_defragged = 0;RedisModule_ReplyWithSimpleString(ctx, "OK");return REDISMODULE_OK;
}/* FRAG.CREATE key len size maxstep */
static int fragCreateCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {if (argc != 5)return RedisModule_WrongArity(ctx);RedisModuleKey *key = RedisModule_OpenKey(ctx,argv[1],REDISMODULE_READ|REDISMODULE_WRITE);int type = RedisModule_KeyType(key);if (type != REDISMODULE_KEYTYPE_EMPTY){return RedisModule_ReplyWithError(ctx, "ERR key exists");}long long len;if ((RedisModule_StringToLongLong(argv[2], &len) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid len");}long long size;if ((RedisModule_StringToLongLong(argv[3], &size) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid size");}long long maxstep;if ((RedisModule_StringToLongLong(argv[4], &maxstep) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid maxstep");}struct FragObject *o = createFragObject(len, size, maxstep);RedisModule_ModuleTypeSetValue(key, FragType, o);RedisModule_ReplyWithSimpleString(ctx, "OK");RedisModule_CloseKey(key);return REDISMODULE_OK;
}void FragFree(void *value) {struct FragObject *o = value;for (unsigned long i = 0; i < o->len; i++)RedisModule_Free(o->values[i]);RedisModule_Free(o->values);RedisModule_Free(o);
}size_t FragFreeEffort(RedisModuleString *key, const void *value) {REDISMODULE_NOT_USED(key);const struct FragObject *o = value;return o->len;
}int FragDefrag(RedisModuleDefragCtx *ctx, RedisModuleString *key, void **value) {REDISMODULE_NOT_USED(key);unsigned long i = 0;int steps = 0;/* Attempt to get cursor, validate it's what we're exepcting */if (RedisModule_DefragCursorGet(ctx, &i) == REDISMODULE_OK) {if (i > 0) datatype_resumes++;/* Validate we're expecting this cursor */if (i != last_set_cursor) datatype_wrong_cursor++;} else {if (last_set_cursor != 0) datatype_wrong_cursor++;}/* Attempt to defrag the object itself */datatype_attempts++;struct FragObject *o = RedisModule_DefragAlloc(ctx, *value);if (o == NULL) {/* Not defragged */o = *value;} else {/* Defragged */*value = o;datatype_defragged++;}/* Deep defrag now */for (; i < o->len; i++) {datatype_attempts++;void *new = RedisModule_DefragAlloc(ctx, o->values[i]);if (new) {o->values[i] = new;datatype_defragged++;}if ((o->maxstep && ++steps > o->maxstep) ||((i % 64 == 0) && RedisModule_DefragShouldStop(ctx))){RedisModule_DefragCursorSet(ctx, i);last_set_cursor = i;return 1;}}last_set_cursor = 0;return 0;
}int RedisModule_OnLoad(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {REDISMODULE_NOT_USED(argv);REDISMODULE_NOT_USED(argc);if (RedisModule_Init(ctx, "defragtest", 1, REDISMODULE_APIVER_1)== REDISMODULE_ERR) return REDISMODULE_ERR;if (RedisModule_GetTypeMethodVersion() < REDISMODULE_TYPE_METHOD_VERSION) {return REDISMODULE_ERR;}long long glen;if (argc != 1 || RedisModule_StringToLongLong(argv[0], &glen) == REDISMODULE_ERR) {return REDISMODULE_ERR;}createGlobalStrings(ctx, glen);RedisModuleTypeMethods tm = {.version = REDISMODULE_TYPE_METHOD_VERSION,.free = FragFree,.free_effort = FragFreeEffort,.defrag = FragDefrag};FragType = RedisModule_CreateDataType(ctx, "frag_type", 0, &tm);if (FragType == NULL) return REDISMODULE_ERR;if (RedisModule_CreateCommand(ctx, "frag.create",fragCreateCommand, "write deny-oom", 1, 1, 1) == REDISMODULE_ERR)return REDISMODULE_ERR;if (RedisModule_CreateCommand(ctx, "frag.resetstats",fragResetStatsCommand, "write deny-oom", 1, 1, 1) == REDISMODULE_ERR)return REDISMODULE_ERR;RedisModule_RegisterInfoFunc(ctx, FragInfo);RedisModule_RegisterDefragFunc(ctx, defragGlobalStrings);return REDISMODULE_OK;
}

这篇关于漫话Redis源码之一百零二的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/683858

相关文章

Java 正则表达式URL 匹配与源码全解析

《Java正则表达式URL匹配与源码全解析》在Web应用开发中,我们经常需要对URL进行格式验证,今天我们结合Java的Pattern和Matcher类,深入理解正则表达式在实际应用中... 目录1.正则表达式分解:2. 添加域名匹配 (2)3. 添加路径和查询参数匹配 (3) 4. 最终优化版本5.设计思

Redis在windows环境下如何启动

《Redis在windows环境下如何启动》:本文主要介绍Redis在windows环境下如何启动的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis在Windows环境下启动1.在redis的安装目录下2.输入·redis-server.exe

Redis实现延迟任务的三种方法详解

《Redis实现延迟任务的三种方法详解》延迟任务(DelayedTask)是指在未来的某个时间点,执行相应的任务,本文为大家整理了三种常见的实现方法,感兴趣的小伙伴可以参考一下... 目录1.前言2.Redis如何实现延迟任务3.代码实现3.1. 过期键通知事件实现3.2. 使用ZSet实现延迟任务3.3

Java调用C++动态库超详细步骤讲解(附源码)

《Java调用C++动态库超详细步骤讲解(附源码)》C语言因其高效和接近硬件的特性,时常会被用在性能要求较高或者需要直接操作硬件的场合,:本文主要介绍Java调用C++动态库的相关资料,文中通过代... 目录一、直接调用C++库第一步:动态库生成(vs2017+qt5.12.10)第二步:Java调用C++

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Python实现无痛修改第三方库源码的方法详解

《Python实现无痛修改第三方库源码的方法详解》很多时候,我们下载的第三方库是不会有需求不满足的情况,但也有极少的情况,第三方库没有兼顾到需求,本文将介绍几个修改源码的操作,大家可以根据需求进行选择... 目录需求不符合模拟示例 1. 修改源文件2. 继承修改3. 猴子补丁4. 追踪局部变量需求不符合很

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流,为什么选择lua的方式实现

Redis中管道操作pipeline的实现

《Redis中管道操作pipeline的实现》RedisPipeline是一种优化客户端与服务器通信的技术,通过批量发送和接收命令减少网络往返次数,提高命令执行效率,本文就来介绍一下Redis中管道操... 目录什么是pipeline场景一:我要向Redis新增大批量的数据分批处理事务( MULTI/EXE

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、