(转载)Tokyo Cabinet 与Tokyo Tyrant介绍及使用

2023-11-06 19:50

本文主要是介绍(转载)Tokyo Cabinet 与Tokyo Tyrant介绍及使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Tokyo Cabinet 与Tokyo Tyrant 介绍及使用

  • 简介
  • 安装
  • 配置
  • 调用

转载地址: https://www.cnblogs.com/yangkai-cn/p/4016553.html

简介

Tokyo Cabinet 是日本人 平林幹雄 开发的一款 DBM 数据库,该数据库读写非常快。哈希模式下 写入 100 万条数据只需 0.643 秒,读取 100万 条数据只需 0.773秒,是 Berkely DB 等 DBM 的几倍

Tokyo Tyrant 是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有 Memcached 兼容协议,也可以通过 HTTP 协议进行数据交换。

Tokyo Tyrant 加上 Tokyo Cabinet,构成了一款支持高并发的分布式持久存储系统,对任何原有 Memcached客户端来讲,可以将 Tokyo Tyrant 看成是一个 Memcached,但是,它的数据是可以持久存储的。这一点,跟新浪的 Memcached 性质一样。

相比 Memcached 而言,Tokyo Tyrant 具有以下优势:

  1. 故障转移:Tokyo Tyrant 支持双机互为主辅模式,主辅库均可以读写,而 Memcachedb 目前支持类似 MySQL 主辅库同步的方式实现读写分离,支持“主服务器可读写、辅助服务器只读”模式。
    在这里插入图片描述
    这里使用 $memcache->addServer 而不是 $memcache->connect 去连接 Tokyo Tyrant 服务器,是因为当 Memcache 客户端使用 addServer 服务器池时,是根据“crc32(key) % current_server_num”哈希算法将 key 哈希到不同的服务器的,PHP、C 和 python 的客户端都是如此的算法。Memcache 客户端的 addserver 具有故障转移机制,当 addserver 了2台 Memcached 服务器,而其中1台宕机了,那么 current_server_num 会由原先的2变成1。

  2. 日志文件体积小:Tokyo Tyrant 用于主辅同步的日志文件比较小,大约是数据库文件的1.3倍,而 Memcachedb 的同步日志文件非常大,如果不定期清理,很容易将磁盘写满。

  3. 超大数据量下表现出色:
    在这里插入图片描述
    推荐在64位 CPU、操作系统上安装运行。

安装

  1. 首先编译安装 tokyocabinet 数据库
wget http://www.1978th.net/tokyocabinet/tokyocabinet-1.4.45.tar.gz
tar zxvf tokyocabinet-1.4.45.tar.gz
cd tokyocabinet-1.4.45/
./configure
#注:在32位Linux操作系统上编译Tokyo cabinet,请使用./configure --enable-off64代替./configure,可以使数据库文件突破2GB的限制。
#./configure --enable-off64
make
make install
cd ../
  1. 然后编译安装 tokyotyrant
wget http://www.1978th.net/tokyotyrant/tokyotyrant-1.1.40.tar.gz
tar zxvf tokyotyrant-1.1.40.tar.gz
cd tokyotyrant-1.1.40/
./configure
make
make install
cd ../

配置

  1. 创建tokyotyrant 数据文件存放目录
mkdir -p /ttserver/
  1. 启动tokyotyrant 的主进程(ttserver)

(1)单机模式

ulimit -SHn 51200
ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts /ttserver/ttserver.rts 
/ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(2)双机互为主辅模式

服务器 192.168.1.91

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 91 -mhost 192.168.1.92 -mport 11211 -rts 
/ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

服务器 192.168.1.92

ulimit -SHn 51200
ttserver -host 192.168.1.91 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 92 -mhost 192.168.1.91 -mport 11211 -rts 
/ttserver/ttserver.rts /ttserver/database.tcb#lmemb=1024#nmemb=2048#bnum=10000000

(3)参数说明

ttserver [-host name] [-port num] [-thnum num] [-tout num] [-dmn] [-pid path] [-log path] [-ld|-le] [-ulog path] [-ulim num] [-uas] [-sid num] [-mhost name] [-mport num] [-rts path] [dbname]

-host name :指定需要绑定的服务器域名或IP地址。默认绑定这台服务器上的所有IP地址
-port num: 指定需要绑定的端口号。默认端口号为1978
-thnum num:指定线程数。默认为 9个线程
-tout num:指定每个会话的超时时间(单位为秒)。默认永不超时。
-dmn:以守护进程方式运行
-pid path:输出进程ID到指定文件(这里指定文件名)
-log path:输出日志信息到指定文件(这里指定文件名)
-ld:在日志文件中还记录 DEBUG 调试信息。
-le:在日志文件中仅记录错误信息。
-ulog path:指定同步日志文件存放路径(这里指定目录名)
-ulim num:指定每个同步日志文件的大小(例如128M)
-uas:使用异步IO记录更新日志(使用此项会减少磁盘消耗,但是数据会先放在内存中,不会立即写入磁盘。如果重启服务器或ttserver进程被kill掉,将导致部分数据丢失。一般情况下不建议使用)。
-sid num:指定服务器ID号(当使用主辅模式时,每台ttserver 需要不同的ID号)
-mhost name:指定主辅同步模式下,主服务器的域名或者IP地址
-mport num:指定主辅同步模式下,主服务器的端口号
-rts path:指定用来存放同步时间戳的文件名

如果使用的是哈希数据库,可以指定参数“#bnum=xxx”来提高性能。它可以指定 bucket 存储桶的数量。例如指定“#bnum=1000000”,就可以将最新最热的100万条记录缓存在内存中:

ttserver -host 127.0.0.1 -port 11211 -thnum 8 -dmn -pid /ttserver/ttserver.pid -log 
/ttserver/ttserver.log -le -ulog /ttserver/ -ulim 128m -sid 1 -rts 
/ttserver/ttserver.rts /ttserver/database.tch#bnum=1000000

如果大量的客户端访问ttserver,请确保文件描述符够用。许多服务器的默认文件描述符为1024,可以在启动 ttserver前使用 ulimit 命令提高这项值。例如:

ulimit -SHn 51200
  1. 停止tokyotyrant(ttserver)
ps -ef | grep ttserver

找到 ttserver 的进程号并kill,例如:

kill -TERM 2159

调用

  1. 任何Memcached 客户端均可直接调用 tokyotyrant。
  2. 还可以通过HTTP方式调用,下面以 Linux 的curl 命令为例,介绍如何操作 tokyotyrant:

(1)写数据,将数据“value”写入到“key”中:

curl -X PUT http://127.0.0.1:11211/key -d "value"

(2)读数据、读取“key”中数据:

curl http://127.0.0.1:11211/key

(3)删数据,删除“key”:

curl -X DELETE http://127.0.0.1:11211/key

这篇关于(转载)Tokyo Cabinet 与Tokyo Tyrant介绍及使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/358709

相关文章

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

C#使用SQLite进行大数据量高效处理的代码示例

《C#使用SQLite进行大数据量高效处理的代码示例》在软件开发中,高效处理大数据量是一个常见且具有挑战性的任务,SQLite因其零配置、嵌入式、跨平台的特性,成为许多开发者的首选数据库,本文将深入探... 目录前言准备工作数据实体核心技术批量插入:从乌龟到猎豹的蜕变分页查询:加载百万数据异步处理:拒绝界面

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

Python使用自带的base64库进行base64编码和解码

《Python使用自带的base64库进行base64编码和解码》在Python中,处理数据的编码和解码是数据传输和存储中非常普遍的需求,其中,Base64是一种常用的编码方案,本文我将详细介绍如何使... 目录引言使用python的base64库进行编码和解码编码函数解码函数Base64编码的应用场景注意