(转载)Tokyo Cabinet 与Tokyo Tyrant介绍及使用

2023-11-06 19:50

本文主要是介绍(转载)Tokyo Cabinet 与Tokyo Tyrant介绍及使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Tokyo Cabinet 与Tokyo Tyrant 介绍及使用

  • 简介
  • 安装
  • 配置
  • 调用

转载地址: https://www.cnblogs.com/yangkai-cn/p/4016553.html

简介

Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库,该数据库读写非常快。哈希模式下 写入 100 万条数据只需 0.643 秒,读取 100万 条数据只需 0.773秒,是 Berkely DB 等 DBM 的几倍

Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有 Memcached 兼容协议,也可以通过 HTTP 协议进行数据交换。

Tokyo Tyrant 加上 Tokyo Cabinet,构成了一款支持高并发的分布式持久存储系统,对任何原有 Memcached客户端来讲,可以将 Tokyo Tyrant 看成是一个 Memcached,但是,它的数据是可以持久存储的。这一点,跟新浪的 Memcached 性质一样。

相比 Memcached 而言,Tokyo Tyrant 具有以下优势:

  1. 故障转移:Tokyo Tyrant 支持双机互为主辅模式,主辅库均可以读写,而 Memcachedb 目前支持类似 MySQL 主辅库同步的方式实现读写分离,支持“主服务器可读写、辅助服务器只读”模式。
    在这里插入图片描述
    这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器,是因为当 Memcache 客户端使用 addServer 服务器池时,是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的,PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制,当 addserver 了2台 Memcached 服务器,而其中1台宕机了,那么 current_server_num 会由原先的2变成1。

  2. 日志文件体积小:Tokyo Tyrant 用于主辅同步的日志文件比较小,大约是数据库文件的1.3倍,而 Memcachedb 的同步日志文件非常大,如果不定期清理,很容易将磁盘写满。

  3. 超大数据量下表现出色:
    在这里插入图片描述
    推荐在64位 CPU、操作系统上安装运行。

安装

  1. 首先编译安装 tokyocabinet 数据库
wget http://www.1978th.net/tokyocabinet/tokyocabinet-1.4.45.tar.gz
tar zxvf tokyocabinet-1.4.45.tar.gz
cd tokyocabinet-1.4.45/
./configure
#注:在32位Linux操作系统上编译Tokyo cabinet,请使用./configure --enable-off64代替./configure,可以使数据库文件突破2GB的限制。
#./configure --enable-off64
make
make install
cd ../
  1. 然后编译安装 tokyotyrant
wget http://www.1978th.net/tokyotyrant/tokyotyrant-1.1.40.tar.gz
tar zxvf tokyotyrant-1.1.40.tar.gz
cd tokyotyrant-1.1.40/
./configure
make
make install
cd ../

配置

  1. 创建tokyotyrant 数据文件存放目录
mkdir -p /ttserver/
  1. 启动tokyotyrant 的主进程(ttserver)

(1)单机模式

ulimit -SHn 51200
ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts 
/ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(2)双机互为主辅模式

服务器 192.168.1.91

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts 
/ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

服务器 192.168.1.92

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts 
/ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(3)参数说明

ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

-host name :指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址
-port num: 指定需要绑定的端口号。默认端口号为1978
-thnum num:指定线程数。默认为 9个线程
-tout num:指定每个会话的超时时间(单位为秒)。默认永不超时。
-dmn:以守护进程方式运行
-pid path:输出进程ID到指定文件(这里指定文件名)
-log path:输出日志信息到指定文件(这里指定文件名)
-ld:在日志文件中还记录 DEBUG 调试信息。
-le:在日志文件中仅记录错误信息。
-ulog path:指定同步日志文件存放路径(这里指定目录名)
-ulim num:指定每个同步日志文件的大小(例如128M)
-uas:使用异步IO记录更新日志(使用此项会减少磁盘消耗,但是数据会先放在内存中,不会立即写入磁盘。如果重启服务器或ttserver进程被kill掉,将导致部分数据丢失。一般情况下不建议使用)。
-sid num:指定服务器ID号(当使用主辅模式时,每台ttserver 需要不同的ID号)
-mhost name:指定主辅同步模式下,主服务器的域名或者IP地址
-mport num:指定主辅同步模式下,主服务器的端口号
-rts path:指定用来存放同步时间戳的文件名

如果使用的是哈希数据库,可以指定参数“#bnum=xxx”来提高性能。它可以指定 bucket 存储桶的数量。例如指定“#bnum=1000000”,就可以将最新最热的100万条记录缓存在内存中:

ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts 
/ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

如果大量的客户端访问ttserver,请确保文件描述符够用。许多服务器的默认文件描述符为1024,可以在启动 ttserver前使用 ulimit 命令提高这项值。例如:

ulimit -SHn 51200
  1. 停止tokyotyrant(ttserver)
ps -ef | grep ttserver

找到 ttserver 的进程号并kill,例如:

kill -TERM 2159

调用

  1. 任何Memcached 客户端均可直接调用 tokyotyrant。
  2. 还可以通过HTTP方式调用,下面以 Linux 的curl 命令为例,介绍如何操作 tokyotyrant:

(1)写数据,将数据“value”写入到“key”中:

curl -X PUT http://127.0.0.1:11211/key -d "value"

(2)读数据、读取“key”中数据:

curl http://127.0.0.1:11211/key

(3)删数据,删除“key”:

curl -X DELETE http://127.0.0.1:11211/key

这篇关于(转载)Tokyo Cabinet 与Tokyo Tyrant介绍及使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/358709

相关文章

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚

redis过期key的删除策略介绍

《redis过期key的删除策略介绍》:本文主要介绍redis过期key的删除策略,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录第一种策略:被动删除第二种策略:定期删除第三种策略:强制删除关于big key的清理UNLINK命令FLUSHALL/FLUSHDB命

使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)

《使用Python从PPT文档中提取图片和图片信息(如坐标、宽度和高度等)》PPT是一种高效的信息展示工具,广泛应用于教育、商务和设计等多个领域,PPT文档中常常包含丰富的图片内容,这些图片不仅提升了... 目录一、引言二、环境与工具三、python 提取PPT背景图片3.1 提取幻灯片背景图片3.2 提取

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB