漫话Redis源码之一百零二

2024-02-06 09:32

本文主要是介绍漫话Redis源码之一百零二,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本模块主要实现defrag回调机制,可以细看一下,还挺巧妙的:

/* A module that implements defrag callback mechanisms.*/#define REDISMODULE_EXPERIMENTAL_API
#include "redismodule.h"static RedisModuleType *FragType;struct FragObject {unsigned long len;void **values;int maxstep;
};/* Make sure we get the expected cursor */
unsigned long int last_set_cursor = 0;unsigned long int datatype_attempts = 0;
unsigned long int datatype_defragged = 0;
unsigned long int datatype_resumes = 0;
unsigned long int datatype_wrong_cursor = 0;
unsigned long int global_attempts = 0;
unsigned long int global_defragged = 0;int global_strings_len = 0;
RedisModuleString **global_strings = NULL;static void createGlobalStrings(RedisModuleCtx *ctx, int count)
{global_strings_len = count;global_strings = RedisModule_Alloc(sizeof(RedisModuleString *) * count);for (int i = 0; i < count; i++) {global_strings[i] = RedisModule_CreateStringFromLongLong(ctx, i);}
}static int defragGlobalStrings(RedisModuleDefragCtx *ctx)
{for (int i = 0; i < global_strings_len; i++) {RedisModuleString *new = RedisModule_DefragRedisModuleString(ctx, global_strings[i]);global_attempts++;if (new != NULL) {global_strings[i] = new;global_defragged++;}}return 0;
}static void FragInfo(RedisModuleInfoCtx *ctx, int for_crash_report) {REDISMODULE_NOT_USED(for_crash_report);RedisModule_InfoAddSection(ctx, "stats");RedisModule_InfoAddFieldLongLong(ctx, "datatype_attempts", datatype_attempts);RedisModule_InfoAddFieldLongLong(ctx, "datatype_defragged", datatype_defragged);RedisModule_InfoAddFieldLongLong(ctx, "datatype_resumes", datatype_resumes);RedisModule_InfoAddFieldLongLong(ctx, "datatype_wrong_cursor", datatype_wrong_cursor);RedisModule_InfoAddFieldLongLong(ctx, "global_attempts", global_attempts);RedisModule_InfoAddFieldLongLong(ctx, "global_defragged", global_defragged);
}struct FragObject *createFragObject(unsigned long len, unsigned long size, int maxstep) {struct FragObject *o = RedisModule_Alloc(sizeof(*o));o->len = len;o->values = RedisModule_Alloc(sizeof(RedisModuleString*) * len);o->maxstep = maxstep;for (unsigned long i = 0; i < len; i++) {o->values[i] = RedisModule_Calloc(1, size);}return o;
}/* FRAG.RESETSTATS */
static int fragResetStatsCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {REDISMODULE_NOT_USED(argv);REDISMODULE_NOT_USED(argc);datatype_attempts = 0;datatype_defragged = 0;datatype_resumes = 0;datatype_wrong_cursor = 0;global_attempts = 0;global_defragged = 0;RedisModule_ReplyWithSimpleString(ctx, "OK");return REDISMODULE_OK;
}/* FRAG.CREATE key len size maxstep */
static int fragCreateCommand(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {if (argc != 5)return RedisModule_WrongArity(ctx);RedisModuleKey *key = RedisModule_OpenKey(ctx,argv[1],REDISMODULE_READ|REDISMODULE_WRITE);int type = RedisModule_KeyType(key);if (type != REDISMODULE_KEYTYPE_EMPTY){return RedisModule_ReplyWithError(ctx, "ERR key exists");}long long len;if ((RedisModule_StringToLongLong(argv[2], &len) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid len");}long long size;if ((RedisModule_StringToLongLong(argv[3], &size) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid size");}long long maxstep;if ((RedisModule_StringToLongLong(argv[4], &maxstep) != REDISMODULE_OK)) {return RedisModule_ReplyWithError(ctx, "ERR invalid maxstep");}struct FragObject *o = createFragObject(len, size, maxstep);RedisModule_ModuleTypeSetValue(key, FragType, o);RedisModule_ReplyWithSimpleString(ctx, "OK");RedisModule_CloseKey(key);return REDISMODULE_OK;
}void FragFree(void *value) {struct FragObject *o = value;for (unsigned long i = 0; i < o->len; i++)RedisModule_Free(o->values[i]);RedisModule_Free(o->values);RedisModule_Free(o);
}size_t FragFreeEffort(RedisModuleString *key, const void *value) {REDISMODULE_NOT_USED(key);const struct FragObject *o = value;return o->len;
}int FragDefrag(RedisModuleDefragCtx *ctx, RedisModuleString *key, void **value) {REDISMODULE_NOT_USED(key);unsigned long i = 0;int steps = 0;/* Attempt to get cursor, validate it's what we're exepcting */if (RedisModule_DefragCursorGet(ctx, &i) == REDISMODULE_OK) {if (i > 0) datatype_resumes++;/* Validate we're expecting this cursor */if (i != last_set_cursor) datatype_wrong_cursor++;} else {if (last_set_cursor != 0) datatype_wrong_cursor++;}/* Attempt to defrag the object itself */datatype_attempts++;struct FragObject *o = RedisModule_DefragAlloc(ctx, *value);if (o == NULL) {/* Not defragged */o = *value;} else {/* Defragged */*value = o;datatype_defragged++;}/* Deep defrag now */for (; i < o->len; i++) {datatype_attempts++;void *new = RedisModule_DefragAlloc(ctx, o->values[i]);if (new) {o->values[i] = new;datatype_defragged++;}if ((o->maxstep && ++steps > o->maxstep) ||((i % 64 == 0) && RedisModule_DefragShouldStop(ctx))){RedisModule_DefragCursorSet(ctx, i);last_set_cursor = i;return 1;}}last_set_cursor = 0;return 0;
}int RedisModule_OnLoad(RedisModuleCtx *ctx, RedisModuleString **argv, int argc) {REDISMODULE_NOT_USED(argv);REDISMODULE_NOT_USED(argc);if (RedisModule_Init(ctx, "defragtest", 1, REDISMODULE_APIVER_1)== REDISMODULE_ERR) return REDISMODULE_ERR;if (RedisModule_GetTypeMethodVersion() < REDISMODULE_TYPE_METHOD_VERSION) {return REDISMODULE_ERR;}long long glen;if (argc != 1 || RedisModule_StringToLongLong(argv[0], &glen) == REDISMODULE_ERR) {return REDISMODULE_ERR;}createGlobalStrings(ctx, glen);RedisModuleTypeMethods tm = {.version = REDISMODULE_TYPE_METHOD_VERSION,.free = FragFree,.free_effort = FragFreeEffort,.defrag = FragDefrag};FragType = RedisModule_CreateDataType(ctx, "frag_type", 0, &tm);if (FragType == NULL) return REDISMODULE_ERR;if (RedisModule_CreateCommand(ctx, "frag.create",fragCreateCommand, "write deny-oom", 1, 1, 1) == REDISMODULE_ERR)return REDISMODULE_ERR;if (RedisModule_CreateCommand(ctx, "frag.resetstats",fragResetStatsCommand, "write deny-oom", 1, 1, 1) == REDISMODULE_ERR)return REDISMODULE_ERR;RedisModule_RegisterInfoFunc(ctx, FragInfo);RedisModule_RegisterDefragFunc(ctx, defragGlobalStrings);return REDISMODULE_OK;
}

这篇关于漫话Redis源码之一百零二的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/683858

相关文章

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

Redis存储的列表分页和检索的实现方法

《Redis存储的列表分页和检索的实现方法》在Redis中,列表(List)是一种有序的数据结构,通常用于存储一系列元素,由于列表是有序的,可以通过索引来访问元素,因此可以很方便地实现分页和检索功能,... 目录一、Redis 列表的基本操作二、分页实现三、检索实现3.1 方法 1:客户端过滤3.2 方法

Python中操作Redis的常用方法小结

《Python中操作Redis的常用方法小结》这篇文章主要为大家详细介绍了Python中操作Redis的常用方法,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解一下... 目录安装Redis开启、关闭Redisredis数据结构redis-cli操作安装redis-py数据库连接和释放增

redis防止短信恶意调用的实现

《redis防止短信恶意调用的实现》本文主要介绍了在场景登录或注册接口中使用短信验证码时遇到的恶意调用问题,并通过使用Redis分布式锁来解决,具有一定的参考价值,感兴趣的可以了解一下... 目录1.场景2.排查3.解决方案3.1 Redis锁实现3.2 方法调用1.场景登录或注册接口中,使用短信验证码场

Redis 多规则限流和防重复提交方案实现小结

《Redis多规则限流和防重复提交方案实现小结》本文主要介绍了Redis多规则限流和防重复提交方案实现小结,包括使用String结构和Zset结构来记录用户IP的访问次数,具有一定的参考价值,感兴趣... 目录一:使用 String 结构记录固定时间段内某用户 IP 访问某接口的次数二:使用 Zset 进行

解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)

《解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)》该文章介绍了使用Redis的阻塞队列和Stream流的消息队列来优化秒杀系统的方案,通过将秒杀流程拆分为两条流水线,使用Redi... 目录Redis秒杀优化方案(阻塞队列+Stream流的消息队列)什么是消息队列?消费者组的工作方式每

Redis如何使用zset处理排行榜和计数问题

《Redis如何使用zset处理排行榜和计数问题》Redis的ZSET数据结构非常适合处理排行榜和计数问题,它可以在高并发的点赞业务中高效地管理点赞的排名,并且由于ZSET的排序特性,可以轻松实现根据... 目录Redis使用zset处理排行榜和计数业务逻辑ZSET 数据结构优化高并发的点赞操作ZSET 结

Redis的Zset类型及相关命令详细讲解

《Redis的Zset类型及相关命令详细讲解》:本文主要介绍Redis的Zset类型及相关命令的相关资料,有序集合Zset是一种Redis数据结构,它类似于集合Set,但每个元素都有一个关联的分数... 目录Zset简介ZADDZCARDZCOUNTZRANGEZREVRANGEZRANGEBYSCOREZ

Go中sync.Once源码的深度讲解

《Go中sync.Once源码的深度讲解》sync.Once是Go语言标准库中的一个同步原语,用于确保某个操作只执行一次,本文将从源码出发为大家详细介绍一下sync.Once的具体使用,x希望对大家有... 目录概念简单示例源码解读总结概念sync.Once是Go语言标准库中的一个同步原语,用于确保某个操