SQL 人要敢于说不

2024-02-11 04:59
文章标签 sql database 人要 敢于

本文主要是介绍SQL 人要敢于说不,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

“哎,小 C 帮导个数据,很简单,我只要 5 万条”

 

我们组的小姑娘经常会被这种无脑的要求,折腾得哭笑不得。曾几何时我做 SQL 开发的时候也经常遇到这种不定期,无规范的 ad hoc 查询。这是数据应用初期常有的拍脑袋案例。

 

但如果真的开了这种口子,我们来猜猜会怎么样:

 

各个部门都要来开这样的接口,一次导出数据,具体数据量不可控;有时候,多个部门同时开始导出全年或者前 5 年的历史数据;然后,你的系统经常无缘无故被投诉拖卡慢,然后你的年终奖,886.

 

然后我们来说说小 C 面对的这个业务提出的需求,导出 5 万条数据,真的是很困难么?为什么要告诉业务,“你这个需求不简单,难!!!”

 

首先,你司的系统并不是为你一个人/部门服务的。

抛开你的个人烦恼先不说。你先了解下你们公司有多少部门,多少人在用这套系统。假如每个人都想开个独特的流程去导个数万条数据,无疑加大了你们这套系统的负荷。加上原本这套系统可能就服务了上百万名用户(互联网公司用户特别多),那么每个部门都同时拉取数万条数据有可能就直接把内存、硬盘 IO、网络给占爆(再说一遍,你司的系统并不是为你一个人/部门服务的)

接着,说说技术上的不可实现。

基于第一点,假设有很多部门都在同时拉取数万条数据,从技术上来讲,数据都是从硬盘读到内存,经由网络输出到你部门。大批量的数据必定占用高内存,高 IO, 高网络占用率。任何经过严格控制的 OLTP 系统并不会给到这么一个接口,让大家都去无限量的读取数据。有时候为了数据库的稳定,我们还会对数据接口做限流和熔断。

最后,解决你要导出数据的问题。

你做了活动,要做一些数据分析和统计,这是件头等大事。数据运营在 BAT 是常见的手段了,所以这样的需求要培养,要规划。养数据到用数据,是企业信息化的必经之路。但为了系统的稳定,必须采用特殊架构来帮助更好、更健壮、更有效率的完成数据分析的工作。这就涉及到数据架构规划的问题了。业界最佳实践采用的是读写分离架构。写操作放在 MySQL 实时进行,而读数据(也就是满足你数据需求的操作)就放到另一台数据归档(简称数据仓库)服务器上进行。此时,你提出拉数据的需求,可以让服务器的任务管理器帮你调度,而不影响其他任务的执行。

 

640

昨天在曹大的星球中,发现一个好玩的收二手书的小程序。老读者肯定知道我其实还算得上比较爱看书的那种,所以我的读者肯定都是爱读书的,推荐给大家。

如果你有旧书 放到这上面来卖 让原本的书的价值在此流动起来 你还可以低价重新购买别的书

 

 

 

这篇关于SQL 人要敢于说不的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/698891

相关文章

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

基于SpringBoot+Mybatis实现Mysql分表

《基于SpringBoot+Mybatis实现Mysql分表》这篇文章主要为大家详细介绍了基于SpringBoot+Mybatis实现Mysql分表的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录基本思路定义注解创建ThreadLocal创建拦截器业务处理基本思路1.根据创建时间字段按年进

Python3.6连接MySQL的详细步骤

《Python3.6连接MySQL的详细步骤》在现代Web开发和数据处理中,Python与数据库的交互是必不可少的一部分,MySQL作为最流行的开源关系型数据库管理系统之一,与Python的结合可以实... 目录环境准备安装python 3.6安装mysql安装pymysql库连接到MySQL建立连接执行S

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例:修改表在数据库中,表的操作主要

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

MySQL错误代码2058和2059的解决办法

《MySQL错误代码2058和2059的解决办法》:本文主要介绍MySQL错误代码2058和2059的解决办法,2058和2059的错误码核心都是你用的客户端工具和mysql版本的密码插件不匹配,... 目录1. 前置理解2.报错现象3.解决办法(敲重点!!!)1. php前置理解2058和2059的错误

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T