Cassandra操作和性能优化

2024-06-02 18:08
文章标签 操作 优化 性能 cassandra

本文主要是介绍Cassandra操作和性能优化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

转载自:https://blog.51cto.com/eric100/1770036

 

1.     Cassandra操作

本文档操作都是在单数据中心，Vnode上操作

1.1.   添加节点到集群中

1.1.1.     添加非seed单节点

 1.在新节点上安装Cassandra，但不要启动

 2.修改cassandra.yaml文件：

  • cluster_name – 新节点加入集群名称

  • listen_address/rpc_address – 新节点IP

  •  seed_provider – 集群seeds列表

 3.启动新节点Cassandra

 4.使用nodetool status验证节点是否启动完毕：状态为UN

 5.运行nodetool cleanup(或OpsCenter)在集群节点上：移除脏数据(建议在低峰执行)

1.2.     添加非seed单节点案例：

已经存在Cassandra集群：

<span style="color:#333333"><span style="color:black"><code class="language-xml">cluster_name = ‘Test Cluster’
xxx_address = 192.168.92.148
seed_provider = 192.168.92.148</code></span></span>

wKiom1cppL3B4g3eAAAi2QSK7_A312.png

添加新节点192.168.92.149:

1.安装Cassandra

参考《Cassandra教程》

wKioL1cppdWBh1E0AAAqS7BJjj8685.png

2.修改cassandra.yaml

cluster_name：

wKiom1cppRyQgL1OAAAJH-7ICJM624.png

seed_provider

wKiom1cppTGRTNDYAAAFzgKBsxI614.png

listen_address:

wKiom1cppUKSINlaAAARH9Y2M4k195.png

rpc_address:

wKioL1cppiuSXaHTAAAwhOPL0cU905.png

3.启动Cassandra

wKiom1cppWrQEh_ZAAAHfko1RTA314.png

4.验证新节点192.168.92.149是否启动完毕

wKioL1cpplGjOAObAAAwiZhPyqs058.png

5.删除192.168.92.148上的脏数据

wKioL1cppnDRvX69AAAJU_XNzH8484.png

或者

wKiom1cppa6zkjcMAAEQ_CWmkCk571.png

1.1.3.     添加非seed多个节点

步骤参考1.1.1，唯一不同点步骤3，启动Cassandra需要同时启动，避免数据多次迁移。

wKiom1cppcXgG_yVAAATIyr-29o972.png

wKioL1cppqqx_7fCAAAJIH1hzKU774.png

1.1.4.     添加seed节点

由于seed需要修改cassandra.yaml文件，所以需要重启所有节点

1.先将seed作为非seed节点安装启动，完成数据迁移操作

步骤参考1.1.1

2.修改所有节点的cassandra.yaml文件，添加seed

3.重启所有节点

1.2.   替换一个dead节点

由于一些硬盘损坏等原因，需要执行替换dead节点

1.确保dead节点状态为DN，使用nodetool status:

wKioL1cppsGzufqHAADpeBCNoHM141.png

注意Address需要在下面步骤用到

2.修改新节点cassandra.yaml文件：参考1.1.1

3.启动新节点，使用replace_address选项：

<span style="color:#333333"><span style="color:black"><code class="language-bash">$ <span style="color:#dd4a68">sudo</span> bin/cassandra -Dcassandra.replace_address<span style="color:#9a6e3a">=</span>address_of_dead_node</code></span></span>

 

  1. 删除节点：参考1.4(建议72小时之后操作，确保gossip删除掉了老节点)

    1.3.   替换一个running节点

由于升级新硬件等原因，需要使用新节点替换

  1. 添加新节点到集群中，参考步骤1.1.1

  2. 确保替换running节点状态为UN，使用nodetoolstatus:

wKiom1cpphiDrWPlAAA1B_i8fJk015.png

4.删除running节点，参考1.4

1.4.   删除节点

1.4.1.     删除UN状态节点

运行nodetooldecommission删除UN节点

wKioL1cppv_j7ZivAAAH3iGF5ks849.png

或者：

wKiom1cppjmTCRaaAAE-5vBVfQI416.png

1.4.2.     删除DN状态节点

运行nodetoolremovenode命令

wKiom1cppkrQRrCpAAAItR3PQ6g995.png

<span style="color:#333333"><span style="color:black"><code class="language-java">注意
如果以上步骤无法删除，可能是由于节点存在脏数据，请运行nodetool assassinate，强制删除</code></span></span>

 

1.5.   修改ReplicationFactor

1.5.1.     ReplicationFactor减少

运行nodetool cleanup，删除脏数据

或者：

wKioL1cpp0Situ8oAAEQ_GnCSZU529.png

1.5.2.     ReplicationFactor增加

运行nodetool repair，迁移数据

或者：

wKioL1cpp2bw3WA-AAEwA_ieu7E092.png

2.     Cassandra优化

2.1.   安装前配置建议

2.1.1.     安装jemalloc

<span style="color:#333333"><span style="color:black"><code class="language-bash">jemalloc适合多线程下内存分配管理
<span style="color:#dd4a68">wget</span> http://www.canonware.com/download/jemalloc/jemalloc-3.6.0.tar.bz2
<span style="color:#dd4a68">tar</span> xjf jemalloc-3.6.0.tar.bz2
<span style="color:#dd4a68">cd</span> jemalloc-3.6.0
./configure
<span style="color:#dd4a68">make</span> <span style="color:#9a6e3a">&&</span><span style="color:#dd4a68">make</span> <span style="color:#dd4a68">install</span>
<span style="color:#0077aa">echo</span> <span style="color:#669900">'/usr/local/lib'</span><span style="color:#9a6e3a">></span>/etc/ld.so.conf.d/local.conf
ldconfig</code></span></span>

wKioL1cpp5HyAG8oAAA3jpQPa8Y101.png

2.1.2.     安装NTP (略)

2.1.3.     Commit log和data目录在独立硬盘

wKioL1cpp6PyIWveAAAvC7KYWAI807.png

wKiom1cppt2gKIqAAAAhpSf2WaI010.png

2.1.4.     硬盘类型

硬盘类型

SSD(微秒)

SAS(毫秒)

SATA(秒)

延迟

100~120

8~40

>15

2.1.5.     Linux优化

1.文件操作符

/etc/security/limits.conf

<span style="color:#333333"><span style="color:black"><code class="language-xml">* - nofile 65535
* - memlock unlimited
* – nofile 32768
* – as unlimited</code></span></span>

/etc/security/limits.d/90-nproc.conf

<span style="color:#333333"><span style="color:black"><code class="language-xml">* - nproc 32768</code></span></span>

 

2.Swap

/etc/sysctl.conf

<span style="color:#333333"><span style="color:black"><code class="language-xml">vm.max_map_count = 131072
#最大限度使用物理内存
vm.swappiness = 0</code></span></span>

使之生效

<span style="color:#333333"><span style="color:black"><code class="language-xml">sysctl -p</code></span></span>

 

永久关闭swap

<span style="color:#333333"><span style="color:black"><code class="language-xml">swapoff –a</code></span></span>

/etc/fstab：注释掉swap

wKiom1cppyKA6sJrAAAzLjQpz9o105.png

3.NUMA

<span style="color:#333333"><span style="color:black"><code class="language-xml">echo 0 > /proc/sys/vm/zone_reclaim_mode</code></span></span>

4.文件系统类型

<span style="color:#333333"><span style="color:black"><code class="language-xml">EXT4</code></span></span>

2.1.6.     磁盘阵列RAID优化

<span style="color:#333333"><span style="color:black"><code class="language-xml">使用高效性能RAID0
sudo blockdev --setra 128 /dev/<span style="color:#990055"><span style="color:#990055"><span style="color:#999999"><</span>device</span><span style="color:#999999">></span></span></code></span></span>

2.1.7.     cassandra-evn.sh配置建议

JVM配置在cassandra-evn.sh中

  1. MAX_HEAP_SIZE

生产环境建议8G

wKiom1cpp1GwzHp0AACEXhULvLs062.png

  1. HEAP_NEWSIZE

一般设置为MAX_HEAP_SIZE的1/4

  1. 添加cassandra压缩线程级别，减少其资源占用

<span style="color:#333333"><span style="color:black"><code class="language-xml">-Dcassandra.compaction.priority=1</code></span></span>

  1. 打开JVM压缩，减少内存占用，适用于64位JVM

<span style="color:#333333"><span style="color:black"><code class="language-xml">-XX:+UseCompressedOops</code></span></span>

wKiom1cpp4KxPqHZAABZY1Ttqvc623.png

2.1.8.     cassandra.yaml配置建议

<span style="color:#333333"><span style="color:black"><code class="language-xml">concurrent_reads：16 * number_of_drives
concurrent_counter_writes：16 * number_of_drives
concurrent_writes：8 * number_of_cores
#使用Memory Mapped File IO，性能超过Standard IO，64位
disk_access_mode: mmap
#write性能提升5%
memtable_allocation_type: offheap_objects</code></span></span>

 

2.2.   安装后监控——定位——优化

2.2.1.     nodetool tpstats

线程池使用统计，看是否有积压线程

wKiom1cpp6nTmTMAAABUQAaTpeo434.png

或者使用OpsCenter

wKioL1cpqJCz6-lvAAA-lJo_EU0610.png

wKioL1cpqKWDALVwAAAmDlC-FsU281.png

2.2.2.     Read Requests/Write Requests

结合CPU和Disk使用监控，来判断系统每秒可以支持的操作数量

wKiom1cpp_DQtQE8AABRdkfpp3w679.png

wKioL1cpqMbC1TDwAAA-wD4PguY526.png

2.2.3.     total Memtable size

与内存使用比较，确保大的memtable不会导致内存竞争，大的memtable有利于写多读少情况

wKioL1cpqOKCHLMgAAAk_7lutxM979.png

2.2.4.     SSTable count

确保sstablecount比较低（个位数），每次读操作会检查所有sstable，太多的sstable影响read性能

wKioL1cpqPaDs7LMAAAncf0Pt6g071.png

2.2.5.     total bytes compacted

确保不会发生频繁操作

wKioL1cpqQiwB3gFAAA_LtjQpYs529.png

2.2.6.     read latency/write latency

确保延迟在可接受范围之内，不包含网络延迟

wKioL1cpqSPCdxQWAAAnjLcjGm4907.png

wKiom1cpqE6TT1WAAAAnQwgF-7o431.png

出问题后定位

writelatency写响应平均时长(以毫秒为单位)。依赖于consistency level和replication factor，也包含了写replicas的网络延迟

 

read latency受到硬盘，网络和应用程序读的方式等影响。比如，使用二级索引，读请求数据大小，client需要的consistencylevel都将影响readlatency。I/O的争用也会增加read latency。当SSTables有很多碎片，compaction跟不上写负载则读也会变慢。

 

2.2.7.     partition size

监控表分区大小，确保max不超过100M

wKiom1cpqG2zVpQaAAAl8484Yio823.png

2.2.8.     cell count

监控表cell count，确保不超过20亿

wKioL1cpqVeCp-SOAAAkXqDKpLU110.png

2.2.9.     write Read active

读写请求数

wKioL1cpqWnjxZXkAAAqG5kF0pA383.png

2.2.10. OS系统监控

监控CPU、Memory、Disk的使用率、饱和度。

wKioL1cpqYzy_ASAAAAhDAPQE1U728.png

wKiom1cpqLjjAFHLAAAlkQpGBhY571.png

wKioL1cpqY3QeNSrAAAhZsQei-k449.png

这篇关于Cassandra操作和性能优化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1024701。

相关文章

Python ZIP文件操作技巧详解

Python ZIP文件操作技巧详解

《PythonZIP文件操作技巧详解》在数据处理和系统开发中,ZIP文件操作是开发者必须掌握的核心技能,Python标准库提供的zipfile模块以简洁的API和跨平台特性,成为处理ZIP文件的首选... 目录一、ZIP文件操作基础三板斧1.1 创建压缩包1.2 解压操作1.3 文件遍历与信息获取二、进阶技
阅读更多...
Java中字符串转时间与时间转字符串的操作详解

Java中字符串转时间与时间转字符串的操作详解

《Java中字符串转时间与时间转字符串的操作详解》Java的java.time包提供了强大的日期和时间处理功能,通过DateTimeFormatter可以轻松地在日期时间对象和字符串之间进行转换,下面... 目录一、字符串转时间（一）使用预定义格式（二）自定义格式二、时间转字符串（一）使用预定义格式（二）自
阅读更多...
MySQL索引的优化之LIKE模糊查询功能实现

MySQL索引的优化之LIKE模糊查询功能实现

《MySQL索引的优化之LIKE模糊查询功能实现》：本文主要介绍MySQL索引的优化之LIKE模糊查询功能实现,本文通过示例代码给大家介绍的非常详细,感兴趣的朋友一起看看吧... 目录一、前缀匹配优化二、后缀匹配优化三、中间匹配优化四、覆盖索引优化五、减少查询范围六、避免通配符开头七、使用外部搜索引擎八、分
阅读更多...
Java字符串操作技巧之语法、示例与应用场景分析

Java字符串操作技巧之语法、示例与应用场景分析

《Java字符串操作技巧之语法、示例与应用场景分析》在Java算法题和日常开发中,字符串处理是必备的核心技能,本文全面梳理Java中字符串的常用操作语法,结合代码示例、应用场景和避坑指南,可快速掌握字... 目录引言1. 基础操作1.1 创建字符串1.2 获取长度1.3 访问字符2. 字符串处理2.1 子字
阅读更多...
Python 中的 with open文件操作的最佳实践

Python 中的 with open文件操作的最佳实践

《Python中的withopen文件操作的最佳实践》在Python中,withopen()提供了一个简洁而安全的方式来处理文件操作,它不仅能确保文件在操作完成后自动关闭,还能处理文件操作中的异... 目录什么是 with open()？为什么使用 with open()？使用 with open() 进行
阅读更多...
Linux ls命令操作详解

Linux ls命令操作详解

《Linuxls命令操作详解》通过ls命令,我们可以查看指定目录下的文件和子目录,并结合不同的选项获取详细的文件信息,如权限、大小、修改时间等,：本文主要介绍Linuxls命令详解,需要的朋友可... 目录1. 命令简介2. 命令的基本语法和用法2.1 语法格式2.2 使用示例2.2.1 列出当前目录下的文
阅读更多...
Python通过模块化开发优化代码的技巧分享

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版：拆分成模块让模块更强大：使用 __init__.py你一定会遇到的问题模www.
阅读更多...
SpringBoot首笔交易慢问题排查与优化方案

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题：应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案：提前预热各种资源1. Flowable
阅读更多...
SpringBoot3实现Gzip压缩优化的技术指南

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N
阅读更多...
Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战：从入门到进阶优化1. MyBatis
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2