全内存的redis用习惯了?那能突破内存限制类redis产品ssdb呢?

2023-11-06 05:38

本文主要是介绍全内存的redis用习惯了?那能突破内存限制类redis产品ssdb呢?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

首先说一下背景,在双十一的时候,我们系统接受X宝的订单推送,原先的实现方式是使用 redis 的 List 作为推送数据的承载,在非大促的场景下,一切运行正常,内存占用大概3-4G,机器是16G内存。由于提前预计不足,在双十一来临的时候,订单瞬时量达到了平时的 10X 倍,内存非常吃紧,情况算是非常紧急了,采取的临时解决方案就是再开一个redis,将程序中的redis地址指向这台新的,重启一下程序,把数据暂时引导过去。

一:分析

redis确实是一个好东西,一个如此强大的内存数据结构服务器,全内存存储,有些场景,恰恰你会死在全内存上,而且相对ssd硬盘来说,内存还是太小了。内存很便宜,但是内存和ssd比起来很贵,况且有些场景你可能根本不需要使用全内存,使用硬盘也许会更能帮助我们节省成本,你可能会说,现在业界标准已经差不多是kafka了,有时候我们还需要redis里面的hash,也就是说我现在需要 kafka + redis 的一个综合体的产品,这就是本篇和大家说到的ssdb,当然ssdb和kafka还是不能相提并论的哈,毕竟我是在选择一个轻量级的解决方案。

二:ssdb说明

ssdb是一个使用 leveldb 做为底层存储的nosql数据库,好处就是可以利用redis中的所有数据结构,而且数据还是基于硬盘的,可以存储的数据比redis大的不要太多,官方文档的说法就是用来替代redis的,而且让你眼前一亮的就是,它对 .net 的支持还是比较友好,一个很不错的解决方案,不过成熟度不如redis,大家前期可以当缓存用用,或者存储一些非关键性数据,节省节省内存空间。目前我在项目中用起来了。

  • 使用hash来存customerID 和customerNick的映射关系。

  • 使用List来承载X宝的订单推送。

三:快速搭建

官方下载:http://ssdb.io, 有一点要注意的就是官方文档明确表示,CentOS7的文件句柄设置问题,建议不要在centos7上进行搭建,具体的说明可以看看这个:http://ssdb.io/docs/zh_cn/config.html ,大家可以用用 centos6.5 或者 ubantu 吧。

1. wget下载和unzip解压。


[root@localhost apps]# wget https://codeload.github.com/ideawu/ssdb/zip/master--2017-12-02 03:02:18-- https://codeload.github.com/ideawu/ssdb/zip/masterResolving codeload.github.com (codeload.github.com)... 192.30.255.120, 192.30.255.121Connecting to codeload.github.com (codeload.github.com)|192.30.255.120|:443... connected.HTTP request sent, awaiting response... 200 OKLength: 1595060 (1.5M) [application/zip]Saving to: ‘master’100%[==================================================================>] 1,595,060 69.3KB/s in 36s2017-12-02 03:02:57 (43.7 KB/s) - ‘master’ saved [1595060/1595060][root@localhost apps]#unzip master[root@localhost apps]# lsmaster ssdb-master

2. 使用make对C++代码进行编译


[root@localhost ssdb-master]# make

3. 编译完之后,一泡尿的功夫,这个ssdb-server可执行文件就出来了。


[root@localhost ssdb-master]# ls
api              ChangeLog  Dockerfile  Makefile   ssdb.conf        tools      version
build_config.mk  data       docs        README.md  ssdb-server      var
build.sh         deps       LICENSE     src        ssdb_slave.conf  var_slave

4. 然后我们把ssdb.conf配置一下

这里面有三个配置要注意下:

  • work_dir:存放data和meta的目录,可以在ssdb-master文件夹下mkdir data文件夹。

  • ip:设为0.0.0.0,让所有的主机都能够连接上来。

  • port 8888 :这个是默认的ssdbserver端口号,大家可以看情况修改。

完整配置如下:


# ssdb-server config
# MUST indent by TAB!# absolute path, or relative to path of this file, directory must exists
work_dir = /usr/apps/ssdb-master/data
pidfile = ./var/ssdb.pidserver:ip: 0.0.0.0port: 8888# bind to public ip#ip: 0.0.0.0# format: allow|deny: all|ip_prefix# multiple allows or denys is supported#deny: all#allow: 127.0.0.1#allow: 192.168# auth password must be at least 32 characters#auth: very-strong-password#readonly: yes# in ms, to log slowlog with WARN level#slowlog_timeout: 5replication:binlog: yes# Limit sync speed to *MB/s, -1: no limitsync_speed: -1slaveof:# to identify a master even if it moved(ip, port changed)# if set to empty or not defined, ip:port will be used.#id: svc_2# sync|mirror, default is sync#type: sync#host: localhost#port: 8889logger:level: debugoutput: log.txtrotate:size: 1000000000leveldb:# in MBcache_size: 500# in MBwrite_buffer_size: 64# in MB/scompaction_speed: 1000# yes|nocompression: yes

5. 启动ssdb-server,指定一下配置文件,采取静默启动


[root@localhost ssdb-master]# ./ssdb-server ./ssdb.conf -d
ssdb-server 1.9.6
Copyright (c) 2012-2015 ssdb.io[root@localhost ssdb-master]# netstat -tlnp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1869/dnsmasq
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1115/sshd
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      1117/cupsd
tcp        0      0 0.0.0.0:8888            0.0.0.0:*               LISTEN      12994/./ssdb-server
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1627/master
tcp6       0      0 :::22                   :::*                    LISTEN      1115/sshd
tcp6       0      0 ::1:631                 :::*                    LISTEN      1117/cupsd
tcp6       0      0 ::1:25                  :::*                    LISTEN      1627/master
[root@localhost ssdb-master]#

可以看到,上面的8888端口已经成功开启,没毛病。

四:使用C#客户端

在 http://ssdb.io/docs/zh_cn/clients.html 上面列出了各个语言的客户端SDK,这里我就选择C#的SDK:https://github.com/ssdb/dotnetssdb。

可以看到,里面没啥东西,就三个破文件,里面并没有实现ssdb应该有的所有功能,所以大家可以根据自己的需要进行封装,连接池啥的都要你自己根据需要实现吧,好了,接下来我用hash简单的测试一下:

class Program{static void Main(string[] args){Client client = new Client("192.168.23.153", 8888);client.hset("customerHash", "customerID", "1000");string val = string.Empty;client.hget("customerHash", "customerID", out val);Debug.WriteLine("customerID= " + val);client.close();}}

好了,本篇先就说到这里,希望对你有帮助。

这篇关于全内存的redis用习惯了?那能突破内存限制类redis产品ssdb呢?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/354753

相关文章

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

浅谈mysql的sql_mode可能会限制你的查询

《浅谈mysql的sql_mode可能会限制你的查询》本文主要介绍了浅谈mysql的sql_mode可能会限制你的查询,这个问题主要说明的是,我们写的sql查询语句违背了聚合函数groupby的规则... 目录场景:问题描述原因分析:解决方案:第一种:修改后,只有当前生效,若是mysql服务重启,就会失效;

Redis 中的热点键和数据倾斜示例详解

《Redis中的热点键和数据倾斜示例详解》热点键是指在Redis中被频繁访问的特定键,这些键由于其高访问频率,可能导致Redis服务器的性能问题,尤其是在高并发场景下,本文给大家介绍Redis中的热... 目录Redis 中的热点键和数据倾斜热点键(Hot Key)定义特点应对策略示例数据倾斜(Data S

redis+lua实现分布式限流的示例

《redis+lua实现分布式限流的示例》本文主要介绍了redis+lua实现分布式限流的示例,可以实现复杂的限流逻辑,如滑动窗口限流,并且避免了多步操作导致的并发问题,具有一定的参考价值,感兴趣的可... 目录为什么使用Redis+Lua实现分布式限流使用ZSET也可以实现限流,为什么选择lua的方式实现

Redis中管道操作pipeline的实现

《Redis中管道操作pipeline的实现》RedisPipeline是一种优化客户端与服务器通信的技术,通过批量发送和接收命令减少网络往返次数,提高命令执行效率,本文就来介绍一下Redis中管道操... 目录什么是pipeline场景一:我要向Redis新增大批量的数据分批处理事务( MULTI/EXE

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、

Redis中的常用的五种数据类型详解

《Redis中的常用的五种数据类型详解》:本文主要介绍Redis中的常用的五种数据类型详解,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Redis常用的五种数据类型一、字符串(String)简介常用命令应用场景二、哈希(Hash)简介常用命令应用场景三、列表(L

Redis解决缓存击穿问题的两种方法

《Redis解决缓存击穿问题的两种方法》缓存击穿问题也叫热点Key问题,就是⼀个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击,本文给大家介绍了Re... 目录引言解决办法互斥锁(强一致,性能差)逻辑过期(高可用,性能优)设计逻辑过期时间引言缓存击穿:给

Redis中如何实现商品秒杀

《Redis中如何实现商品秒杀》:本文主要介绍Redis中如何实现商品秒杀问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录技术栈功能实现步骤步骤一:准备商品库存数据步骤二:实现商品秒杀步骤三:优化Redis性能技术讲解Redis的List类型Redis的Set