MySQL数据类型和Schema优化(二)

2024-09-07 10:58

本文主要是介绍MySQL数据类型和Schema优化(二),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MySQL数据类型和Schema优化

  • MySQL
    • 合适的数据类型
      • 日期和时间类型(datetime、timesamp)
      • 整数类型
      • 实数类型(float\double\decimal)
      • 字符串类型(Varchar、Char)
    • Schema设计
    • 缓存表和汇总表

MySQL

良好的逻辑设计与物理设计是高性能的基石,应该根据具体业务需求的查询语句来设计schema,这往往需要权衡各种因素。

比如,反范式的设计可能会增加某些查询的速度,但也会带来数据同步的维护工作。

合适的数据类型

MYSQL支持的数据类型非常多,选择合适的数据类型将有助于MySQL的性能提升。

一般遵循以下规则:

  1. 更小的数据类型
  2. 简单的数据类型
  3. 尽量避免NULL

更小的数据类型,意味着占用更小的磁盘、内存、CPU缓存等,当然一个比较重要的前提是对类型要有合理的预估,毕竟对类型的变更是一项痛苦的事情,alter table操作会锁住整个表。

简单的数据类型,意味着MySQL更少的处理,占用更少的CPU周期,比如整型比字符串操作代价更低,字符串需要处理字符集和校对规则(排序规则),使得字符串的处理更加复杂。

尽量避免NULL,如果没有指定列是否为NULL,MySQL默认设置列为NULL。一般可以的话推荐设置Not Null,因为使用NULL对于MySQL更难优化。当为NULL的列被索引时,每个索引记录需要一个额外的字节。
在这里插入图片描述

日期和时间类型(datetime、timesamp)

  • datetime 使用8个字节存储、timesamp使用4个字节存储
  • datetime取值范围1001-9999年,timesamp取值范围在1970-2038年
  • datetime没有时区概念,timesamp有时区的概念

注意:timesamp时区问题,可能会导致CPU耗尽。前提是设置time_zone=system,该设置会获取系统的时区配置,并且获取操作是全局锁,高并发的情况下会导致CPU耗尽。

整数类型

tinyint、smallint、mediumint、int、bigint

  • 存储空间不同,由小到大分别是8,16,24,32,64位
  • 整数类型可以设置UNSIGNED属性,表示无负数,正数取值可以扩大一倍,并且存储空间不变
  • int(1) 和 int(11) 并不会改变取值范围,只是决定客户端显示的长度

实数类型(float\double\decimal)

  • float\double支持标准的浮点数运算进行近似计算,不能精确表达
  • float\double是CPU支持原生的浮点数计算,性能速度很快
  • decimal是mysql支持的类型,支持精确的浮点数。
  • decimal精确度要求比较高,比如财务数据可以选择使用
  • decimal需要复杂的计算,性能相对比较差
  • 数据量比较大的情况下,可以考虑使用bigint代替,通过乘相应小数点的倍数,比如100000000.1111 ,存储1000000001111,通过乘10000来解决,避免decimal复杂的计算代价。

字符串类型(Varchar、Char)

  • Varchar是可变长字符串,它比定长字符串更节省空间,因为它可以合理利用空间,只使用必要的空间。
  • Varchar需要额外的字节记录字符串的长度,如果长度超过255则使用2个字节,否则使用1个字节
  • Varchar由于可变长,如果长度增加同时当前页没有空间存储,InnoDB需要分裂页存储,导致碎片产生。
  • Char是定长字符串,对于固定长度的比如MD5加密串,非常适合使用Char进行存储,同时定长Char在更新时不容易产生碎片,存储空间上Char也不需要记录额外的长度,Varchar则需要使用1-2字节记录长度。

Schema设计

  • 太多的列:MySQL存储引擎API工作时需要在服务器层和存储引擎之间通过行数据格式拷贝数据,然后在服务器层将缓存行内容解码各个列。这个代价时非常高的;比如尽量避免使用select * 操作.

  • 范式与反范式:
    范式化的更新操作通常比反范式化要快,因为较好的范式化可以很少的或者没有重复数据,更新只要少部分的数据。
    举例子(错误的范式):

departmentemployeeleader
A小明王总
A小李王总
当需要修改部门领导时,需要更新两条数据,如果遵循范式化,再新增一个部门和领导的实体表,则只需要更新一条数据即可同时可以避免一些group by,distinct等操作,比如上面案例需要统计所有部门,就需要通过group by操作。

范式化的缺点是需要多表关联,稍微复杂一点可能就需要关联才能查询,此时可能会通过一些反范式的手段,减少关联查询。常用的做法就是在另一个表,保存相同的列。

通常设计是混用模式:范式+反范式配合使用
在这里插入图片描述

缓存表和汇总表

缓存表和汇总表没有标准的定义,通常来说缓存表来表示存储那些可以比较简单地从其他表schema获取(但是每次获取比较慢),可以通过缓存冗余数据,避免从其他表查询。

汇总表可以优先计算出结果,直接使用简单方式进行查询,减少实时查询计算的性能问题。

Java题库在线答题:www.51ctofx.com

这篇关于MySQL数据类型和Schema优化(二)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1144872

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

Python与MySQL实现数据库实时同步的详细步骤

《Python与MySQL实现数据库实时同步的详细步骤》在日常开发中,数据同步是一项常见的需求,本篇文章将使用Python和MySQL来实现数据库实时同步,我们将围绕数据变更捕获、数据处理和数据写入这... 目录前言摘要概述:数据同步方案1. 基本思路2. mysql Binlog 简介实现步骤与代码示例1

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化(SEO)已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模

使用shardingsphere实现mysql数据库分片方式

《使用shardingsphere实现mysql数据库分片方式》本文介绍如何使用ShardingSphere-JDBC在SpringBoot中实现MySQL水平分库,涵盖分片策略、路由算法及零侵入配置... 目录一、ShardingSphere 简介1.1 对比1.2 核心概念1.3 Sharding-Sp

Java实现复杂查询优化的7个技巧小结

《Java实现复杂查询优化的7个技巧小结》在Java项目中,复杂查询是开发者面临的“硬骨头”,本文将通过7个实战技巧,结合代码示例和性能对比,手把手教你如何让复杂查询变得优雅,大家可以根据需求进行选择... 目录一、复杂查询的痛点:为何你的代码“又臭又长”1.1冗余变量与中间状态1.2重复查询与性能陷阱1.

Python内存优化的实战技巧分享

《Python内存优化的实战技巧分享》Python作为一门解释型语言,虽然在开发效率上有着显著优势,但在执行效率方面往往被诟病,然而,通过合理的内存优化策略,我们可以让Python程序的运行速度提升3... 目录前言python内存管理机制引用计数机制垃圾回收机制内存泄漏的常见原因1. 循环引用2. 全局变

MySQL 表空却 ibd 文件过大的问题及解决方法

《MySQL表空却ibd文件过大的问题及解决方法》本文给大家介绍MySQL表空却ibd文件过大的问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考... 目录一、问题背景:表空却 “吃满” 磁盘的怪事二、问题复现:一步步编程还原异常场景1. 准备测试源表与数据