Redis_类比简单键值数据库

2024-08-25 10:58

本文主要是介绍Redis_类比简单键值数据库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis核心技术与实战 - 01

目录

1、可以存储那些数据 

Redis的value可以存储丰富的【数据类型】

2、可以对数据做什么操作 

Redis提供了基本的增删改查等和基于复杂value类型操作接口

3、如何保存键值对(内存还是外存)

Redis以内存为主保存键值对,但存在一旦掉电,数据就会全部消失问题,提供【Redis的持久化方式】。

4、键值对数据库基本架构 

5、采用什么访问模式  

Redis采用的是网络框架访问【redis使用单线程并提供高效服务】

6、如何定位键值对位置  

Redis采用hash表定位key,并对于复杂数据类型的value的访问也需要索引,Redis 采用一些常见的高效索引结构作为某些 value 类型的底层数据结构。【redis底层数据结构】

7、不同操作的具体逻辑是怎样的 

8、如何进行内存分配 

Redis以内存存储为主,Redis 的内存分配器提供了多种选择,分配效率也不一样。

9、如何实现重启后快速提供服务 

Redis的高可靠不仅体现在数据少丢失,还体现在服务不中断【主从复制读写分离(多实例提供数据服务)】【哨兵机制(监控主库状态)】【哨兵集群(监控哨兵状态)】


1、可以存储那些数据

对于键值数据库而言,基本的数据模型是 key-value 模型;

不同的数据库支持的key 的数据类型一般差异不大,而 value 存储的数据类型则有较大差别。

2、可以对数据做什么操作?

PUT/GET/DELETE/SCAN 是一个键值数据库的基本操作集合。SCAN 操作,即根据一段 key 的范围返回相应的 value 值。根据value的不同类型,提供不同的操作接口。

3、如何保存键值对(内存还是外存)

内存读取速度快,但是一旦断电数据就会完全丢失,但是保存在外存,虽然可以避免数据丢失,却受限于磁盘的慢速读写(通常在几 ms 级别),键值数据库的整体性能会被拉低。

如何进行设计选择,我们通常需要考虑键值数据库的主要应用场景:
比如,缓存场景下的数据需要能快速访问但允许丢失,那么,用于此场景的键值数据库通常采用内存保存键值数据。

4、键值对数据库基本架构

一个键值数据库包括了访问框架、索引模块、操作模块和存储模块四部分

5、采用什么访问模式?

访问模式通常有两种:

  1. 一种是通过函数库调用的方式供外部应用使用,比如,上图中的 libsimplekv.so,就是以动态链接库的形式链接到我们自己的程序中,提供键值存储功能;
  2. 另一种是通过网络框架以 Socket 通信的形式对外提供键值对操作,这种形式可以提供广泛的键值存储服务。

在上图中,我们可以看到,网络框架中包括 Socket Server 和协议解析。

Redis 则是通过网络框架访问, Redis 现有的客户端和通信协议。对于网络连接的处理、网络请求的解析,以及数据存取的处理,Redis采取的是单线程,Redis如何通过单线程实现高性能的呢?

网络框架提供键值存储服务带来的线程问题:

通过网络框架提供键值存储服务,一方面扩大了键值数据库的受用面,但另一方面,也给键值数据库的性能、运行模型提供了不同的设计选择,带来了一些潜在的问题。

举个例子,当客户端发送一个命令(PUT hello world)后,该命令会被封装在网络包中发送给键值数据库。键值数据库网络框架接收到网络包,并按照相应的协议进行解析之后,就可以知道,客户端想写入一个键值对,并开始实际的写入流程。

此时,我们会遇到一个系统设计上的问题,简单来说,就是网络连接的处理、网络请求的解析,以及数据存取的处理,是用一个线程、多个线程,还是多个进程来交互处理呢?该如何进行设计和取舍呢?我们一般把这个问题称为 I/O 模型设计。不同的 I/O 模型对键值数据库的性能和可扩展性会有不同的影响。举个例子,如果一个线程既要处理网络连接、解析请求,又要完成数据存取,一旦某一步操作发生阻塞,整个线程就会阻塞住,这就降低了系统响应速度。如果我们采用不同线程处理不同操作,那么,某个线程被阻塞时,其他线程还能正常运行。但是,不同线程间如果需要访问共享资源,那又会产生线程竞争,也会影响系统效率,这又该怎么办呢?所以,这的确是个“两难”选择,需要我们进行精心的设计。你可能经常听说 Redis 是单线程,那么,Redis 又是如何做到“单线程,高性能”的呢?后面我再和你好好聊一聊。

6、如何定位键值对位置

当键值对数据库接收到服务请求,需要查找所要操作的键值对是否存在,这依赖于键值数据库的索引模块。索引的作用是让键值数据库根据 key 找到相应 value 的存储位置,进而执行操作。

索引的类型有很多,常见的有哈希表、B+ 树、字典树等。不同的索引结构在性能、空间消耗、并发控制等方面具有不同的特征。如果你看过其他键值数据库,就会发现,不同键值数据库采用的索引并不相同,例如,Memcached 和 Redis 采用哈希表作为 key-value 索引,而 RocksDB 则采用跳表作为内存中 key-value 的索引。

一般而言,内存键值数据库(例如 Redis)采用哈希表作为索引,很大一部分原因在于,其键值数据基本都是保存在内存中的,而内存的高性能随机访问特性可以很好地与哈希表 O(1) 的操作复杂度相匹配。

对于 Redis 而言,很有意思的一点是,它的 value 支持多种类型,当我们通过索引找到一个 key 所对应的 value 后,仍然需要从 value 的复杂结构(例如集合和列表)中进一步找到我们实际需要的数据,这个操作的效率本身就依赖于它们的实现结构。Redis 采用一些常见的高效索引结构作为某些 value 类型的底层数据结构,这一技术路线为 Redis 实现高性能访问提供了良好的支撑。

7、不同操作的具体逻辑是怎样的?

  • 对于 GET/SCAN 操作而言,此时根据 value 的存储位置返回 value 值即可;
  • 对于 PUT 一个新的键值对数据而言,SimpleKV 需要为该键值对分配内存空间;
  • 对于 DELETE 操作,SimpleKV 需要删除键值对,并释放相应的内存空间,这个过程由分配器完成。

8、如何进行内存分配

常用的内存分配器 glibc 的 malloc 和 free,这样使得键值数据库不需要特别考虑内存空间的管理问题。

但是,键值数据库的键值对通常大小不一,glibc 的分配器在处理随机的大小内存块分配时,表现并不好。一旦保存的键值对数据规模过大,就可能会造成较严重的内存碎片问题。

因此,分配器是键值数据库中的一个关键因素。对于以内存存储为主的 Redis 而言,这点尤为重要。Redis 的内存分配器提供了多种选择,分配效率也不一样。

9、如何实现重启后快速提供服务?

键值数据库虽然依赖于内存保存数据,提供快速访问,但是,也希望其重启后能快速重新提供服务,因此需要增加持久化功能。

一种方式是,对于每一个键值对,键值数据库都对其进行落盘保存,这虽然让数据更加可靠,但是,因为每次都要写盘,对键值对数据库的性能会受到很大影响。

另一种方式是,键值数据库只是周期性地把内存中的键值数据保存到文件中,这样可以避免频繁写盘操作的性能影响。但是,一个潜在的代价是数据仍然有丢失的风险。

 

 

这篇关于Redis_类比简单键值数据库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1105373

相关文章

使用Dify访问mysql数据库详细代码示例

《使用Dify访问mysql数据库详细代码示例》:本文主要介绍使用Dify访问mysql数据库的相关资料,并详细讲解了如何在本地搭建数据库访问服务,使用ngrok暴露到公网,并创建知识库、数据库访... 1、在本地搭建数据库访问的服务,并使用ngrok暴露到公网。#sql_tools.pyfrom

Java实现数据库图片上传功能详解

《Java实现数据库图片上传功能详解》这篇文章主要为大家详细介绍了如何使用Java实现数据库图片上传功能,包含从数据库拿图片传递前端渲染,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、前言2、数据库搭建&nbsChina编程p; 3、后端实现将图片存储进数据库4、后端实现从数据库取出图片给前端5、前端拿到

IDEA连接达梦数据库的详细配置指南

《IDEA连接达梦数据库的详细配置指南》达梦数据库(DMDatabase)作为国产关系型数据库的代表,广泛应用于企业级系统开发,本文将详细介绍如何在IntelliJIDEA中配置并连接达梦数据库,助力... 目录准备工作1. 下载达梦JDBC驱动配置步骤1. 将驱动添加到IDEA2. 创建数据库连接连接参数

Jmeter如何向数据库批量插入数据

《Jmeter如何向数据库批量插入数据》:本文主要介绍Jmeter如何向数据库批量插入数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Jmeter向数据库批量插入数据Jmeter向mysql数据库中插入数据的入门操作接下来做一下各个元件的配置总结Jmete

MySql中的数据库连接池详解

《MySql中的数据库连接池详解》:本文主要介绍MySql中的数据库连接池方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql数据库连接池1、概念2、为什么会出现数据库连接池3、原理4、数据库连接池的提供商5、DataSource数据源6、DBCP7、C

Java中数组转换为列表的两种实现方式(超简单)

《Java中数组转换为列表的两种实现方式(超简单)》本文介绍了在Java中将数组转换为列表的两种常见方法使用Arrays.asList和Java8的StreamAPI,Arrays.asList方法简... 目录1. 使用Java Collections框架(Arrays.asList)1.1 示例代码1.

StarRocks数据库详解(什么是StarRocks)

《StarRocks数据库详解(什么是StarRocks)》StarRocks是一个高性能的全场景MPP数据库,支持多种数据导入导出方式,包括Spark、Flink、Hadoop等,它采用分布式架构,... 目录StarRocks介绍什么是StarRocks?StarRocks适合什么场景?StarRock

Redis客户端工具之RedisInsight的下载方式

《Redis客户端工具之RedisInsight的下载方式》RedisInsight是Redis官方提供的图形化客户端工具,下载步骤包括访问Redis官网、选择RedisInsight、下载链接、注册... 目录Redis客户端工具RedisInsight的下载一、点击进入Redis官网二、点击RedisI

Redis实现RBAC权限管理

《Redis实现RBAC权限管理》本文主要介绍了Redis实现RBAC权限管理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1. 什么是 RBAC?2. 为什么使用 Redis 实现 RBAC?3. 设计 RBAC 数据结构

Windows环境下安装达梦数据库的完整步骤

《Windows环境下安装达梦数据库的完整步骤》达梦数据库的安装大致分为Windows和Linux版本,本文将以dm8企业版Windows_64位环境为例,为大家介绍一下达梦数据库的具体安装步骤吧... 目录环境介绍1 下载解压安装包2 根据安装手册安装2.1 选择语言 时区2.2 安装向导2.3 接受协议