shardingsphere调优日记

2024-06-22 10:28

本文主要是介绍shardingsphere调优日记,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、总括
  • 二、连接数调优
  • 二、CPU线程的利用率
  • 三、服务器内存的利用率

一、总括

调优的几个方面

  1. 连接数调优,包含shardingsphere和mysql的连接数。
  2. shardingsphere的globle.yaml中线程调优。(充分利用CPU)
  3. shardingsphere中的内存调优。(充分利用内存)

二、连接数调优

注意调整maxPoolSize,minPoolSize两个参数。表示连接当前数据的的数量。这个数量跟mysql的max_connects要配合,不能大于。所以调节这个参数的时候同时要去调节mysql服务器的参数。

dataSources:write_ds_0:url: jdbc:mysql://10.0.0.13:3306/newbus_0?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&databaseNameuseUnicode=trueusername: rootpassword: Jwcs_18916939125connectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 100minPoolSize: 20write_ds_1:url: jdbc:mysql://10.0.0.13:3306/newbus_1?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&databaseNameuseUnicode=trueusername: rootpassword: Jwcs_18916939125connectionTimeoutMilliseconds: 30000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 100minPoolSize: 20

二、CPU线程的利用率

  1. proxy-backend-query-fetch-size 参数值默认值为 -1,修改为 大数字可以尽量减少多行结果集的 fetch 次数。主要影响insert…values()的性能。
  2. proxy-frontend-executor-size 参数默认值为 CPU * 2
props:system-log-level: INFOmax-connections-size-per-query: 1kernel-executor-size: 16  # Infinite by default.proxy-frontend-flush-threshold: 128  # The default value is 128.# sql-show is the same as props in logger ShardingSphere-SQL, and its priority is lower than logging rulesql-show: falsecheck-table-metadata-enabled: false# Proxy backend query fetch size. A larger value may increase the memory usage of ShardingSphere Proxy.# The default value is -1, which means set the minimum value for different JDBC drivers.proxy-backend-query-fetch-size: 1024 #影响批量插入的效率,越大越好proxy-frontend-executor-size: 32 # Proxy frontend executor size. The default value is 0, which means let Netty decide.本机16核proxy-frontend-max-connections: 0 # Less than or equal to 0 means no limitation.proxy-default-port: 3307 # Proxy default port.proxy-netty-backlog: 1024 # Proxy netty backlog.cdc-server-port: 33071 # CDC server portproxy-frontend-ssl-enabled: falseproxy-frontend-ssl-cipher: ''proxy-frontend-ssl-version: TLSv1.2,TLSv1.3

三、服务器内存的利用率

找到start.sh修改里面内存配置

DEFAULT_JAVA_MEM_COMMON_OPTS=" -Xmx2g -Xms2g -Xmn1g "

调整如下:

 -Xmx16g -Xms16g -Xmn8g  # 调整 JVM 相关参数

说明
Xmx :最大堆内存
Xms :最小堆内存,设置成总内存的一半。我的机器是32G的,因此设置成16G
Xmn :这个值小,就会造成频繁的垃圾回收进程。为了减少进程启动,设置成8G。

原来的参数是2,2,1,太小了。

这篇关于shardingsphere调优日记的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1084031

相关文章

2024.06.23 刷题日记

〇、前言 今天重点刷了回溯,以及常见的题目。 46. 全排列 给定一个不含重复数字的数组 nums ,返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 示例 1: 输入:nums = [1,2,3] 输出:[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]] 示例 2: 输入:nums = [0,1] 输出:[[0,1]

2024.06.22 刷题日记

199. 二叉树的右视图 这道题目的思路就是层次遍历,然后每次处理每一层所有的元素,如果是第一个就收集到答案中: class Solution {public:vector<int> rightSideView(TreeNode* root) {if (!root)return {};queue<TreeNode*> que;vector<int> ans;que.push(root);Tr

代码调优法则

《编程珠玑》第二版快看完了,发现附录D作者记录了一些代码调优法则,本人总结了一下,发出来给大家分享分享,顺便自己也做个笔记。(注:这篇文章是用那个markdown写的,第一次用markdown发布博客,有点小激动。) 代码调优法则 空间换时间法则 修改数据结构。为了减少数据上的常见运算所需要的时间,我们通常可以在数据结构中增加额外的信息,或者修改数据结构中的信息使之更易访问。 例如:std:

【Rust日报】 2019-05-19:Nokia 用 Rust 写了一个 Linux 内存调优工具

sloth - 纯rust写的3D光栅化工具 基于 crossterm 实现跨平台的终端输出。现在也可以输出成js,显示在web上。来看看效果。 更炫酷的一个效果:demo Repo cerebrallib - 使用Rust写的brainfuck语言的虚拟机库 练手项目 // src/main.rs codeuse cerebrallib::cerebral;use std::

Jvm针对分代垃圾回收算法配置调优

堆大小设置 年轻代的设置很关键 JVM中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。 典型设置: java -Xmx355

Ubuntu 下部署、配置和调优 Tailscale

嘿,大家好!今天小弟在三丰云免费服务器上进行了一次Tailscale的部署测试,简直没话说!这个免费云服务器配置相当给力:1核CPU、1G内存、10G硬盘、5M带宽,真是不错的免费服务器,值得一试! 首先,让我简单介绍一下Tailscale软件,它是一款强大的私人网络工具。它提供了简单且安全的方法,让你能够在云上或者其他网络中连接到你的服务器和设备。好了,废话不多说,让我们开始Ubuntu下的部

2024.06.21 刷题日记

101. 对称二叉树 判断是否对称,检查 root->left->val == root->right->val,接着进行递归检查对称位置: class Solution {public:// 传入对称位置的两个对称位置bool isMirror(TreeNode* left, TreeNode* right) {if (!left && !right)return true;if (!le

Java中的JVM调优技巧

Java中的JVM调优技巧 大家好,我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿! Java虚拟机(JVM)是Java应用程序的核心组件,负责将Java字节码转换为机器码并执行。JVM的性能直接影响着Java应用程序的运行效率和稳定性。在本文中,我们将探讨一些JVM调优的技巧,帮助开发者优化Java应用程序的性能和资源利用率。 1.

Kubernates容器化JVM调优笔记(内存篇)

Kubernates容器化JVM调优笔记(内存篇) 先说结论背景思路方案 先说结论 1、首先如果是JDK8,需要使用JDK8_191版本以上,才支持容器化环境和以下参数,否则就更新到JDK10以上,选择对应的镜像构建就行了 2、在容器的JAVA程序启动时JVM参数增加-XX:MaxRAMPercentage=90.0 -XX:MinRAMPercentage=60.0配置内存参数

Retinaface训练超参数调优

训练20遍数据集跑出的效果 from __future__ import print_functionimport argparseimport mathimport osimport optunaimport torchimport torch.backends.cudnn as cudnnimport torch.optim as optimimport torch.utils.