分表实战一

2024-09-02 05:32
文章标签 实战 分表

本文主要是介绍分表实战一,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

现在单表超过一千万记录,虽然索引完全使用,依旧会出现慢查询。日增平均40万。
数据库要重新设计,目的提高查询速度,只查询热数据。

设计思路
  • 根据热数据时效性,保持在近三个月内,计划一年生成6张表。
  • 利用union来查询,当前月在内的近三个月或四个月的数据。
  • 牵扯查询尽量使用索引。
如何生成表?

比如2020年,生成20200102,20200304,20200506,20200708,20200910,20201112六张表
从一月到十二月,连续每两个月生成一张表
可提前把一年要用的数据表用mysql直接创建。

查询如何确定表?

依托当前月份可以直接取到表,设置一个数组来保存对应关系,这样感觉挺方便的
入库的时候直接用self:: i n t a l b e − − − − − − − 查 询 的 时 候 直 接 用 s e l f : : intalbe -------查询的时候直接用self:: intalbeself::seltalbe

		$rent_arrs = ['2020'=>['1'=>['name'=>'20200102','table'=>['20200102']],'2'=>['name'=>'20200102','table'=>['20200102']],'3'=>['name'=>'20200304','table'=>['20200102','20200304']],'4'=>['name'=>'20200304','table'=>['20200102','20200304']],'5'=>['name'=>'20200506','table'=>['20200304','20200506']],'6'=>['name'=>'20200506','table'=>['20200304','20200506']],'7'=>['name'=>'20200708','table'=>['20200506','20200708']],'8'=>['name'=>'20200708','table'=>['20200506','20200708']],'9'=>['name'=>'20200910','table'=>['20200708','20200910']],'10'=>['name'=>'20200910','table'=>['20200708','20200910']],'11'=>['name'=>'20201112','table'=>['20200910','20201112']],'12'=>['name'=>'20201112','table'=>['20200910','20201112']]],'2021'=>['1'=>['name'=>'20210102','table'=>['20210102','20201112']],'2'=>['name'=>'20210102','table'=>['20210102','20201112']],]];$y=date("Y");$m=date("n");self::$intalbe  = $rent_arrs[$y][$m]['name'];self::$seltalbe = $rent_arrs[$y][$m]['table'];
查询的时候用哪种方式比较高效呢?目前经过本地多次测试,explain查看,查询消耗时间对比,第二种速度较快,后期数据积累到一定程度,还不能确定

thinkphp5框架

第一种,利用union连接sql生成临时表查询(需要传查询条件,分页,索引)
		$w['city_id'] = 220;$page=1;$a = Db::name(self::$seltalbe[0])->field('title,date')->where($w)->buildSql();$c = Db::name(self::$seltalbe[1])->field('title,date')->where($w)->union([$a])->buildSql();$list = Db::table($c . ' temp')->order('date desc')->limit($page-1,3)->select();var_dump($list);

原生SQL

SELECT * FROM ( SELECT `title`,`date` FROM `fcxlt_rent_20200304` WHERE  `city_id` = 220 UNION ( SELECT `title`,`date` FROM `fcxlt_rent_20200102` WHERE  `city_id` = 220 ) ) temp ORDER BY date desc LIMIT 0,3
第二种,直接union查询(需要传查询条件,分页,索引)
		$s = Db::field('title,date')->name(self::$seltalbe[0])->union(function($query) use ($page,$w){$query->field('title,date')->name(self::$seltalbe[1])->where($w)->order('date desc')->page($page,3);})->where($w)->select();var_dump($s);

原生SQL

SELECT `title`,`date` FROM `fcxlt_rent_20200102` WHERE  `city_id` = 220 UNION SELECT `title`,`date` FROM `fcxlt_rent_20200304` WHERE  `city_id` = 220 ORDER BY date desc LIMIT 0,3

这篇关于分表实战一的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1129122

相关文章

MyBatis分页查询实战案例完整流程

《MyBatis分页查询实战案例完整流程》MyBatis是一个强大的Java持久层框架,支持自定义SQL和高级映射,本案例以员工工资信息管理为例,详细讲解如何在IDEA中使用MyBatis结合Page... 目录1. MyBATis框架简介2. 分页查询原理与应用场景2.1 分页查询的基本原理2.1.1 分

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Three.js构建一个 3D 商品展示空间完整实战项目

《Three.js构建一个3D商品展示空间完整实战项目》Three.js是一个强大的JavaScript库,专用于在Web浏览器中创建3D图形,:本文主要介绍Three.js构建一个3D商品展... 目录引言项目核心技术1. 项目架构与资源组织2. 多模型切换、交互热点绑定3. 移动端适配与帧率优化4. 可

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Maven中生命周期深度解析与实战指南

《Maven中生命周期深度解析与实战指南》这篇文章主要为大家详细介绍了Maven生命周期实战指南,包含核心概念、阶段详解、SpringBoot特化场景及企业级实践建议,希望对大家有一定的帮助... 目录一、Maven 生命周期哲学二、default生命周期核心阶段详解(高频使用)三、clean生命周期核心阶

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化(SEO)已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模

Java 正则表达式的使用实战案例

《Java正则表达式的使用实战案例》本文详细介绍了Java正则表达式的使用方法,涵盖语法细节、核心类方法、高级特性及实战案例,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录一、正则表达式语法详解1. 基础字符匹配2. 字符类([]定义)3. 量词(控制匹配次数)4. 边

Java Scanner类解析与实战教程

《JavaScanner类解析与实战教程》JavaScanner类(java.util包)是文本输入解析工具,支持基本类型和字符串读取,基于Readable接口与正则分隔符实现,适用于控制台、文件输... 目录一、核心设计与工作原理1.底层依赖2.解析机制A.核心逻辑基于分隔符(delimiter)和模式匹