ClickHouse Keeper: Coordination without the drawbacks没有缺点的分布式协作系统

本文主要是介绍ClickHouse Keeper: Coordination without the drawbacks没有缺点的分布式协作系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ClickHouse Keeper 介绍

现代分布式系统需要一个共享和可靠的信息存储库和共识系统来协调和同步分布式操作。对于ClickHouse来说,ZooKeeper最初是被选中的。它的广泛使用是可靠的,提供了简单而强大的API,并提供了合理的性能。

然而,不仅仅是性能,资源效率和可扩展性一直是ClickHouse的首要考虑因素。ZooKeeper作为一个Java生态系统项目,并不能很好地适应我们主要的c++代码库,当ClickHouse在越来越大的规模上使用它时,ClickHouse开始遇到资源使用和运营方面的挑战。为了克服ZooKeeper的这些缺点,ClickHouse团队从零开始构建ClickHouse Keeper,考虑到ClickHouse项目需要解决的额外需求和目标。

ClickHouse Keeper是什么?

没有缺点的分布式协作系统,在ClickHouse集群中,可以直接替换zookeeper
Open-source coordination that scales
ClickHouse Keeper solves the well-known drawbacks of ZooKeeper and makes many additional improvements.
详见官网介绍

从官网给出的性能测试看,Keeper在内存利用率方面完胜zookeeper
在这里插入图片描述

ClickHouse Keeper的优点

为了克服ZooKeeper的一些缺点,ClickHouse开始根据自己的需求从头开始构建ClickHouse原生Keeper,并针对ClickHouse的使用进行了优化。

  • Easier setup and operation
  • No overflow issues
  • Better compression
  • Faster recovery
  • Less memory used
  • Additional guarantees

是否可直接替换zookeeper

Keeper是用c++编写的ZooKeeper的替代品,具有完全兼容的客户端协议和相同的数据模型,并具有这些改进

  • Compatible client protocol (all clients work out of the box)
  • The same state machine (data model)
  • Better guarantees (optionally allows linearizable reads)
  • Uses Raft algorithm (NuRaft implementation)
  • Optional TLS for clients and internal communication

什么场景下适合替换?

在这里插入图片描述

与zookeeper协同算法的主要区别?

  • ZooKeeper是用Java实现的,它的协调算法:ZooKeeper Atomic Broadcast (ZAB),不提供读的线性性保证。
  • 与ZooKeeper不同,ClickHouse Keeper是用c++编写的,并使用RAFT算法实现。该算法允许读写的线性化,并且有几种不同语言的开源实现。
    详细比较参见:ClickHouse Keeper: A ZooKeeper alternative written in C++

如何安装部署

详见clickhouse-keeper

主要配置文件

  • clickhouse-keeper.xml

    <keeper_server><tcp_port>2181</tcp_port><server_id>1</server_id><log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path><snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path><coordination_settings><operation_timeout_ms>10000</operation_timeout_ms><session_timeout_ms>30000</session_timeout_ms><raft_logs_level>trace</raft_logs_level></coordination_settings><raft_configuration><server><id>1</id><hostname>zoo1</hostname><port>9234</port></server><server><id>2</id><hostname>zoo2</hostname><port>9234</port></server><server><id>3</id><hostname>zoo3</hostname><port>9234</port></server></raft_configuration>
    </keeper_server>
    
  • 在clickhouse集群的配置文件metrika.xml文件中增加如下配置:

        <zookeeper-servers><node><host>chnode1.domain.com</host><port>9181</port></node><node><host>chnode2.domain.com</host><port>9181</port></node><node><host>chnode3.domain.com</host><port>9181</port></node></zookeeper-servers>
    

Four Letter Word Commands

ClickHouse Keeper还提供4字命令,这与Zookeeper几乎相同。每个命令由四个字母组成,如mntr、stat等。还有一些更有趣的命令:stat提供一些关于服务器和连接的客户端的一般信息,而srvr和cons分别提供关于服务器和连接的详细信息。

4lw命令有一个白名单配置,默认值为conf、cons、crst、envi、ruok、srst、srvr、stat、wchs、dirs、mntr、isro、rcvr、apiv、csnp、lif、rqld、ydld。

echo mntr | nc localhost 2181

这篇关于ClickHouse Keeper: Coordination without the drawbacks没有缺点的分布式协作系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/383877

相关文章

Windows系统下如何查找JDK的安装路径

《Windows系统下如何查找JDK的安装路径》:本文主要介绍Windows系统下如何查找JDK的安装路径,文中介绍了三种方法,分别是通过命令行检查、使用verbose选项查找jre目录、以及查看... 目录一、确认是否安装了JDK二、查找路径三、另外一种方式如果很久之前安装了JDK,或者在别人的电脑上,想

Seata之分布式事务问题及解决方案

《Seata之分布式事务问题及解决方案》:本文主要介绍Seata之分布式事务问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Seata–分布式事务解决方案简介同类产品对比环境搭建1.微服务2.SQL3.seata-server4.微服务配置事务模式1

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题

CSS3 最强二维布局系统之Grid 网格布局

《CSS3最强二维布局系统之Grid网格布局》CS3的Grid网格布局是目前最强的二维布局系统,可以同时对列和行进行处理,将网页划分成一个个网格,可以任意组合不同的网格,做出各种各样的布局,本文介... 深入学习 css3 目前最强大的布局系统 Grid 网格布局Grid 网格布局的基本认识Grid 网

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术(如Docker)、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术(如 docker)1. 创

CentOS系统Maven安装教程分享

《CentOS系统Maven安装教程分享》本文介绍了如何在CentOS系统中安装Maven,并提供了一个简单的实际应用案例,安装Maven需要先安装Java和设置环境变量,Maven可以自动管理项目的... 目录准备工作下载并安装Maven常见问题及解决方法实际应用案例总结Maven是一个流行的项目管理工具

电脑没有仿宋GB2312字体怎么办? 仿宋GB2312字体下载安装及调出来的教程

《电脑没有仿宋GB2312字体怎么办?仿宋GB2312字体下载安装及调出来的教程》仿宋字体gb2312作为一种经典且常用的字体,广泛应用于各种场合,如何在计算机中调出仿宋字体gb2312?本文将为您... 仿宋_GB2312是公文标准字体之一,仿China编程宋是字体名称,GB2312是字php符编码标准名称(简

C#实现系统信息监控与获取功能

《C#实现系统信息监控与获取功能》在C#开发的众多应用场景中,获取系统信息以及监控用户操作有着广泛的用途,比如在系统性能优化工具中,需要实时读取CPU、GPU资源信息,本文将详细介绍如何使用C#来实现... 目录前言一、C# 监控键盘1. 原理与实现思路2. 代码实现二、读取 CPU、GPU 资源信息1.

在C#中获取端口号与系统信息的高效实践

《在C#中获取端口号与系统信息的高效实践》在现代软件开发中,尤其是系统管理、运维、监控和性能优化等场景中,了解计算机硬件和网络的状态至关重要,C#作为一种广泛应用的编程语言,提供了丰富的API来帮助开... 目录引言1. 获取端口号信息1.1 获取活动的 TCP 和 UDP 连接说明:应用场景:2. 获取硬