MySQL分库、分表的问题

2024-05-11 18:38

本文主要是介绍MySQL分库、分表的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题描述

  • 为什么进行分表? 分库?

  • 一般多少数据量开始分表?

  • 什么是数据库垂直拆分和水平拆分

回答

为什么要进行分库

业务发展,当单个数据库中的表越来越多,数据量越来越大的时候。数据的增删改查所消耗的资源就会增加。由于mysql是无法分布式部署(可能会有人说不是有主从吗?并不是,详细会在其他文章说明)的。==而单台服务器的资源,如CPU、磁盘、内存、IO等都是有限的。最终数据库所承载的数据量和处理数据的能力就会遇到瓶颈==。此时有两种解决方案:

  • 横向扩展

  • 纵向扩展

纵向扩展就是增加单台服务器的性能,如升级cpu,内存,磁盘换ssd等,这是最简单的方案,但是也是最烧钱的。

横向扩展就是对数据进行拆分,放置到多台服务器(相对廉价的服务器)上。对数据进行拆分,一般是对数据进行合理的分库,再对分离出来的库进行调优。即将单台服务器上的压力分布到多台机器中。这就是分库的理由

为什么进行分表

当MySQL的单表的数据达到一定量级的时候(如一千万)的时候,就需要考虑进行分表。因为此时的MySQL的执行性能就会下降(这和mysql本身的实现机制有关)。简单来讲有如下两个原因

  • 锁机制

为了保证数据的完整性,数据库有锁定机制。MySQL中有表锁定和行锁定,MySQL中myisam存储引擎是表锁定,innodb存储引擎是行锁定。分为包含共享锁和独占锁两种。独占锁就是整个数据文件归一个线程所有,其他线程就必须等待。==如果数据太多,一次执行的时间太长==,特别是在锁表的情况下,就会导致大量的其他SQL等待执行,严重影响系统的正常使用。

  • 索引更新

更新表数据时会导致索引更新,当单表数据量很大时这个过程比较耗时,这就是为什么对大表进行新增操作会比较慢的原因。并且更新表数据会进行表级锁或者行锁,这样就导致其他操作等待。

所以我们将大表拆分为多个字表,那么在更新或者查询数据的时候,压力会分散到不同的表上。由于分表之后每个表的数据较小,不管是查询还是更新都极大的提高了速度,即使出现最坏的“锁表”的情况,那其他表还是可以并行使用。

一般多少数据量开始分表

这个问题没有一个固定的答案,需要根据表的用途和业务来要求来评估此数据量。但是,当mysql的数据量达到千万级别的时候,就需要考虑是否需要进行分表操作。以下几个是一些参考因素:

  • 写入量(高峰期写入量,是否会造成锁表导致读或者写出现一些问题,insert,update,delete的比例各多少)

  • 查询量(查询量多大,是否跟写会造成相互影响)

  • 查询方式(单记录查询,还是多记录查询,是否有count查询,比重各占多少,每次返回的记录数数量级1,10,100,1000 。。。)

  • 是否有分页(重点关注,是否存在大分页)

1,2 算是比较基础的,正常1kw以下都没太大问题。3,4 受单表数据量的影响起始更小,但是反过来,这个就直接影响到 1,2

不同的情形,数据量的规模不太一样。例如,单表只有insert和单条查询的,每天增长百万数据,这种亿的规模问题都不大,当然能拆最好~

有简单 in 查询的,这种也能够接受~ 但是如果有比较大的查询,或者比较复杂的,包括大分页,然后还有大量的 update的,这种表就不能太大,正常不要超过 300w~

==update 的频率,应该算是里面影响比较大的因素==,insert一般只添加数据,不会对查询造成太多影响但是update和 select 可能就会有比较大的相互影响了~

什么是垂直拆分和水平拆分

  • 垂直拆分是指数据表列的拆分,把一张列比较多的表拆分为多张表 或者 将表按模块划分到不同数据库表中(分库或者拆表)

  • 水平拆分是指数据表行的拆分,比如表的行数超过200万行时,就会变慢,这时可以把一张的表的数据拆成多张表来存放==(分表)==。



作者:姚小强
链接:https://www.jianshu.com/p/1b1576fc5917
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

这篇关于MySQL分库、分表的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/980344

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k