移植案例与原理 - utils子系统之KV存储部件 (2)

2024-06-18 19:04
文章标签 原理 移植 存储 案例 部件 子系统 utils kv

本文主要是介绍移植案例与原理 - utils子系统之KV存储部件 (2)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

3、KV存储部件对外接口

在文件utils\native\lite\include\kv_store.h中定义了KV存储部件对外接口，如下，支持从键值对缓存里读取键值，设置键值，删除键值，清除缓存等等。

int UtilsGetValue(const char* key, char* value, unsigned int len);int UtilsSetValue(const char* key, const char* value);int UtilsDeleteValue(const char* key);#ifdef FEATURE_KV_CACHE
int ClearKVCache(void);
#endif

在文件utils\native\lite\kv_store\innerkits\kvstore_env.h中定义了如下接口，在使用POSIX接口时，需要首先使用接口需要设置数据文件路径。使用UtilsFile接口时，不需要该接口。

int UtilsSetEnv(const char* path);

4、KV存储部件对应POSIX接口部分的代码

分析下KV存储部件对应POSIX接口部分的代码。我们知道对外接口有设置键值UtilsSetValue、获取键值UtilsGetValue、删除键值UtilsDeleteValue和清除缓存ClearKVCache。我们先看看内部接口。

4.1 内部接口

4.1.1 GetResolvedPath解析路径

函数GetResolvedPath用于解析文件路径，根据键名key组装存放值value的文件路径。需要4个参数，第一个参数char* dataPath为键值对保存的文件路径，在使用KV特性前由UtilsSetEnv函数设置到全局变量里g_dataPath；第二个参数为键char* key；第三个参数char* resolvedPath为解析后的路径，为输出参数；第4个参数unsigned int len为路径长度。看下代码，⑴处为解析的路径申请内存，⑵处拼装键值对的文件路径，格式为"XXX/kvstore/key"。⑶将相对路径转换成绝对路径，如果解析成功，会把文件路径解析到输出参数resolvedPath。⑷处如果执行realpath函数出错，指定的文件不存在，会执行⑸把keyPath复制到输出函数resolvedPath。

static int GetResolvedPath(const char* dataPath, const char* key, char* resolvedPath, unsigned int len)
{
⑴  char* keyPath = (char *)malloc(MAX_KEY_PATH + 1);if (keyPath == NULL) {return EC_FAILURE;}
⑵  if (sprintf_s(keyPath, MAX_KEY_PATH + 1, "%s/%s/%s", dataPath, KVSTORE_PATH, key) < 0) {free(keyPath);return EC_FAILURE;}
⑶  if (realpath(keyPath, resolvedPath) != NULL) {free(keyPath);return EC_SUCCESS;}
⑷  if (errno == ENOENT) {
⑸      if (strncpy_s(resolvedPath, len, keyPath, strlen(keyPath)) == EOK) {free(keyPath);return EC_SUCCESS;}}free(keyPath);return EC_FAILURE;
}

4.1.2 GetValueByFile从文件中读取键值

函数GetValueByFile从文件中读取键对应的值，需要4个参数，第一个参数为键值文件存放的目录路径；第二个参数为键；第三个为输出参数，存放获取的键的值；第4个参数为输出参数的长度。该函数返回值为EC_FAILURE或成功获取的值的长度。⑴处获取对应键名key的文件路径，⑵处读取文件的状态信息。因为文件内容是键对应的值，⑶处表明如果值的大小大于等于参数len，则返回错误码。等于也不行，需要1个字符长度存放null字符用于结尾。⑷处打开文件，然后读取文件，内容会存入输出参数value里。⑸处设置字符串结尾的null字符。

static int GetValueByFile(const char* dataPath, const char* key, char* value, unsigned int len)
{char* keyPath = (char *)malloc(PATH_MAX + 1);if (keyPath == NULL) {return EC_FAILURE;}
⑴  if (GetResolvedPath(dataPath, key, keyPath, PATH_MAX + 1) != EC_SUCCESS) {free(keyPath);return EC_FAILURE;}struct stat info = {0};
⑵  if (stat(keyPath, &info) != F_OK) {free(keyPath);return EC_FAILURE;}
⑶  if (info.st_size >= len) {free(keyPath);return EC_FAILURE;}
⑷  int fd = open(keyPath, O_RDONLY, S_IRUSR);free(keyPath);keyPath = NULL;if (fd < 0) {return EC_FAILURE;}int ret = read(fd, value, info.st_size);close(fd);fd = -1;if (ret < 0) {return EC_FAILURE;}
⑸  value[info.st_size] = '\0';return info.st_size;
}

4.1.3 SetValueToFile\DeleteValueFromFile存入\删除键值

函数SetValueToFile同于把键值存入文件，函数DeleteValueFromFile则用于删除键值。⑴处根据键名获取存放值的文件路径keyPath，⑵处打开文件，然后写入键名对应的值。在函数DeleteValueFromFile中，⑶处先组装路径，然后删除文件。

static int SetValueToFile(const char* dataPath, const char* key, const char* value)
{char* keyPath = (char *)malloc(PATH_MAX + 1);if (keyPath == NULL) {return EC_FAILURE;}
⑴  if (GetResolvedPath(dataPath, key, keyPath, PATH_MAX + 1) != EC_SUCCESS) {free(keyPath);return EC_FAILURE;}
⑵  int fd = open(keyPath, O_RDWR | O_CREAT | O_TRUNC, S_IRUSR | S_IWUSR);free(keyPath);keyPath = NULL;if (fd < 0) {return EC_FAILURE;}int ret = write(fd, value, strlen(value));close(fd);fd = -1;return (ret < 0) ? EC_FAILURE : EC_SUCCESS;
}static int DeleteValueFromFile(const char* dataPath, const char* key)
{char* keyPath = (char *)malloc(MAX_KEY_PATH + 1);if (keyPath == NULL) {return EC_FAILURE;}
⑶  if (sprintf_s(keyPath, MAX_KEY_PATH + 1, "%s/%s/%s", dataPath, KVSTORE_PATH, key) < 0) {free(keyPath);return EC_FAILURE;}int ret = unlink(keyPath);free(keyPath);return ret;
}

4.1.4 InitKv创建kvstore目录

函数InitKv确保保存键值时，kvstore目录被创建，用于存放键值文件。⑴处组装kvstore目录，⑵处使用F_OK参数判断目录是否存在，如果存在返回EC_SUCCESS。否则执行⑶创建kvstore目录。

static int InitKv(const char* dataPath)
{if (dataPath == NULL) {return EC_FAILURE;}char* kvPath = (char *)malloc(MAX_KEY_PATH + 1);if (kvPath == NULL) {return EC_FAILURE;}
⑴  if (sprintf_s(kvPath, MAX_KEY_PATH + 1, "%s/%s", dataPath, KVSTORE_PATH) < 0) {free(kvPath);return EC_FAILURE;}
⑵  if (access(kvPath, F_OK) == F_OK) {free(kvPath);return EC_SUCCESS;}
⑶  if (mkdir(kvPath, S_IRUSR | S_IWUSR | S_IXUSR) != F_OK) {free(kvPath);return EC_FAILURE;}free(kvPath);return EC_SUCCESS;
}

4.1.5 GetCurrentItem获取当前的键值对数目

函数GetCurrentItem用于获取当前的键值对数目。首先，组装目录路径"XXX/kvstore"，然后执行⑴打开目录，然后读取目录项。⑵循环每一个目录项，判断键值对的数量。⑶处组装kvstore目录下每一个键的文件路径，然后获取每个文件的状态信息。⑷如果文件是常规普通文件，则键值对数量加1。然后读取kvstore目录下的下一个目录项，依次循环。

static int GetCurrentItem(const char* dataPath)
{char kvPath[MAX_KEY_PATH + 1] = {0};if (sprintf_s(kvPath, MAX_KEY_PATH + 1, "%s/%s", dataPath, KVSTORE_PATH) < 0) {return EC_FAILURE;}
⑴  DIR* fileDir = opendir(kvPath);if (fileDir == NULL) {return EC_FAILURE;}struct dirent* dir = readdir(fileDir);int sum = 0;
⑵  while (dir != NULL) {char fullPath[MAX_KEY_PATH + 1] = {0};struct stat info = {0};
⑶      if (sprintf_s(fullPath, MAX_KEY_PATH + 1, "%s/%s", kvPath, dir->d_name) < 0) {closedir(fileDir);return EC_FAILURE;}if (stat(fullPath, &info) != 0) {closedir(fileDir);return EC_FAILURE;}
⑷      if (S_ISREG(info.st_mode)) {sum++;}dir = readdir(fileDir);}closedir(fileDir);return sum;
}

4.1.6 NewItem判断是否新键值对

函数NewItem可以用于判断是否新的键值对。⑴处获取键名对应的文件路径，⑵处判断文件是否存在，存在则返回FALSE；不存在键值对则返回TRUE。

static boolean NewItem(const char* dataPath, const char* key)
{char* keyPath = (char *)malloc(MAX_KEY_PATH + 1);if (keyPath == NULL) {return FALSE;}
⑴  if (sprintf_s(keyPath, MAX_KEY_PATH + 1, "%s/%s/%s", dataPath, KVSTORE_PATH, key) < 0) {free(keyPath);return FALSE;}
⑵  if (access(keyPath, F_OK) == F_OK) {free(keyPath);return FALSE;}free(keyPath);return TRUE;
}

4.2 读取键值UtilsGetValue

函数UtilsSetValue用于读取键名对应的值，第一个参数为输入参数键名，第二个参数为输出参数键名对应的值，第三个参数为值的字符串长度。⑴处获取键值对所在的路径，注意互斥锁的使用。如果支持键值缓存，则执行⑵尝试从缓存中读取。缓存中不能读取时，继续执行⑶从文件中读取。如果读取成功，则执行⑷，加入缓存中，注意第三个参数为FALSE。读取时，会把读取到的键值对，放到缓存的键值对链表的头部，但不删除之前的键值对数据。

int UtilsGetValue(const char* key, char* value, unsigned int len)
{if (!IsValidKey(key) || (value == NULL) || (len > MAX_GET_VALUE_LEN)) {return EC_INVALID;}pthread_mutex_lock(&g_kvGlobalMutex);
⑴  const char* dataPath = g_dataPath;if (dataPath == NULL) {pthread_mutex_unlock(&g_kvGlobalMutex);return EC_FAILURE;}
#ifdef FEATURE_KV_CACHE
⑵  if (GetValueByCache(key, value, len) == EC_SUCCESS) {pthread_mutex_unlock(&g_kvGlobalMutex);return EC_SUCCESS;}
#endif
⑶  int ret = GetValueByFile(dataPath, key, value, len);if (ret < 0) {pthread_mutex_unlock(&g_kvGlobalMutex);return EC_FAILURE;}
#ifdef FEATURE_KV_CACHE
⑷  AddKVCache(key, value, FALSE);
#endifpthread_mutex_unlock(&g_kvGlobalMutex);return ret;
}

4.3 设置键值UtilsGetValue

函数UtilsSetValue用于保存一对键值，⑴处确保kvstore目录存在，不存在则创建。⑵处用于获取kvstore目录下键值对的数目。g_getKvSum默认为FALSE，只需要获取一次即可，键值对数目保存在全局变量g_kvSum。⑶处判断是否新的键值对，如果键值对数目超过缓存允许的最大数，并且需要设置的是新的缓存则返回EC_FAILURE。⑷处把键值对保存到文件中，如果支持缓存，还需要存入缓存中。注意AddKVCache存入缓存的第三方参数为TRUE，会先删除之前同一个键名对应的键值对。⑸处如果是新的键值对，键值对数目需要加1。

int UtilsSetValue(const char* key, const char* value)
{if (!IsValidKey(key) || !IsValidValue(value, MAX_VALUE_LEN)) {return EC_INVALID;}pthread_mutex_lock(&g_kvGlobalMutex);const char* dataPath = g_dataPath;
⑴  int ret = InitKv(dataPath);if (ret != EC_SUCCESS) {g_getKvSum = FALSE;pthread_mutex_unlock(&g_kvGlobalMutex);return EC_FAILURE;}
⑵  if (!g_getKvSum) {g_kvSum = GetCurrentItem(dataPath);if (g_kvSum < 0) {pthread_mutex_unlock(&g_kvGlobalMutex);return EC_FAILURE;}g_getKvSum = TRUE;}
⑶  boolean newItem = NewItem(dataPath, key);if ((g_kvSum >= MAX_KV_SUM) && newItem) {pthread_mutex_unlock(&g_kvGlobalMutex);return EC_FAILURE;}
⑷  ret = SetValueToFile(dataPath, key, value);if (ret == EC_SUCCESS) {
#ifdef FEATURE_KV_CACHEAddKVCache(key, value, TRUE);
#endifif (newItem) {
⑸          g_kvSum++;}}pthread_mutex_unlock(&g_kvGlobalMutex);return ret;
}

4.4 删除键值UtilsDeleteValue

函数UtilsDeleteValue用于删除一对键值。⑴处如果支持键值缓存，则首先尝试从缓存中删除键值对。⑵处从文件中删除键值，如果删除超过，键值对数目减1。

int UtilsDeleteValue(const char* key)
{if (!IsValidKey(key)) {return EC_INVALID;}pthread_mutex_lock(&g_kvGlobalMutex);const char* dataPath = g_dataPath;if (dataPath == NULL) {pthread_mutex_unlock(&g_kvGlobalMutex);return EC_FAILURE;}
#ifdef FEATURE_KV_CACHE
⑴  DeleteKVCache(key);
#endif
⑵  int ret = DeleteValueFromFile(dataPath, key);if (ret == EC_SUCCESS) {g_kvSum--;}pthread_mutex_unlock(&g_kvGlobalMutex);return ret;
}

4.5 清除键值缓存ClearKVCache和设置缓存路径UtilsSetEnv

函数ClearKVCache用于清除缓存，直接调用接口ClearKVCacheInner完成。函数UtilsSetEnv用于设置键值对的保存路径，维护在全局变量g_dataPath里。

#ifdef FEATURE_KV_CACHE
int ClearKVCache(void)
{pthread_mutex_lock(&g_kvGlobalMutex);int ret = ClearKVCacheInner();pthread_mutex_unlock(&g_kvGlobalMutex);return ret;
}
#endifint UtilsSetEnv(const char* path)
{if (path == NULL) {return EC_FAILURE;}pthread_mutex_lock(&g_kvGlobalMutex);int ret = strcpy_s(g_dataPath, MAX_KEY_PATH + 1, path);pthread_mutex_unlock(&g_kvGlobalMutex);return (ret != EOK) ? EC_FAILURE : EC_SUCCESS;
}

如果大家想更加深入的学习 OpenHarmony 开发的内容，不妨可以参考以下相关学习文档进行学习，助你快速提升自己：

OpenHarmony 开发环境搭建：https://qr18.cn/CgxrRy

《OpenHarmony源码解析》：https://qr18.cn/CgxrRy

  • 搭建开发环境
  • Windows 开发环境的搭建
  • Ubuntu 开发环境搭建
  • Linux 与 Windows 之间的文件共享
  • ……

系统架构分析：https://qr18.cn/CgxrRy

  • 构建子系统
  • 启动流程
  • 子系统
  • 分布式任务调度子系统
  • 分布式通信子系统
  • 驱动子系统
  • ……

OpenHarmony 设备开发学习手册：https://qr18.cn/CgxrRy

在这里插入图片描述

OpenHarmony面试题（内含参考答案）：https://qr18.cn/CgxrRy

写在最后

  • 如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：
  • 点赞，转发，有你们的 『点赞和评论』，才是我创造的动力。
  • 关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
  • 想要获取更多完整鸿蒙最新学习资源，请移步前往小编：https://qr21.cn/FV7h05

这篇关于移植案例与原理 - utils子系统之KV存储部件 (2)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1072845。

相关文章

Hadoop企业开发案例调优场景

Hadoop企业开发案例调优场景

需求 （1）需求：从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 （2）需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个任务（4    3    3） HDFS参数调优 （1）修改：hadoop-env.sh export HDFS_NAMENOD
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
深入探索协同过滤：从原理到推荐模块案例

深入探索协同过滤：从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤（UserCF）2. 基于物品的协同过滤（ItemCF）3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代，推荐系统成为连接用户与内容的桥梁。本文聚焦于
阅读更多...
hdu4407(容斥原理)

hdu4407(容斥原理)

题意：给一串数字1,2，......n，两个操作:1、修改第k个数字，2、查询区间[l,r]中与n互质的数之和。 解题思路：咱一看，像线段树，但是如果用线段树做，那么每个区间一定要记录所有的素因子，这样会超内存。然后我就做不来了。后来看了题解，原来是用容斥原理来做的。还记得这道题目吗？求区间[1,r]中与p互质的数的个数，如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和
阅读更多...
【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

【区块链 + 人才服务】可信教育区块链治理系统 | FISCO BCOS应用案例

伴随着区块链技术的不断完善，其在教育信息化中的应用也在持续发展。利用区块链数据共识、不可篡改的特性， 将与教育相关的数据要素在区块链上进行存证确权，在确保数据可信的前提下，促进教育的公平、透明、开放，为教育教学质量提升赋能，实现教育数据的安全共享、高等教育体系的智慧治理。 可信教育区块链治理系统的顶层治理架构由教育部、高校、企业、学生等多方角色共同参与建设、维护，支撑教育资源共享、教学质量评估、
阅读更多...
客户案例：安全海外中继助力知名家电企业化解海外通邮困境

客户案例：安全海外中继助力知名家电企业化解海外通邮困境

1、客户背景 广东格兰仕集团有限公司（以下简称“格兰仕”），成立于1978年，是中国家电行业的领军企业之一。作为全球最大的微波炉生产基地，格兰仕拥有多项国际领先的家电制造技术，连续多年位列中国家电出口前列。格兰仕不仅注重业务的全球拓展，更重视业务流程的高效与顺畅，以确保在国际舞台上的竞争力。 2、需求痛点 随着格兰仕全球化战略的深入实施，其海外业务快速增长，电子邮件成为了关键的沟通工具。
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...
hdu4407容斥原理

hdu4407容斥原理

题意： 有一个元素为 1~n 的数列{An}，有2种操作（1000次）： 1、求某段区间 [a,b] 中与 p 互质的数的和。 2、将数列中某个位置元素的值改变。 import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.Inpu
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2