本文主要是介绍mysql数据库删除千万条数据的操作方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
项目情况是这样的,数据库中有一张计费表,这张表是随着时间无限增长的,数据会越来越多,count一下数据共有8千万条,而现在需要删除2019年之前所有的数据,大概7千多万条。表中有索引。
我直接使用
DELETE FROM table_name WHERE recordtime < "2019 01-01 00:00:00"
这相当于愚蠢,因为直到连接断开,操作结果都没有返回,我估计是需要很多时间,但是愚蠢的我并不知道这个时间会大好几天这么长(我算了一下),当时删除两条数据花了0.05s,那删除7千万条需要多少小时呢将近500小时,这种估算的时间还算少的。因为删除数据的时候还要更新索引。时间会更多。
delete语句删除数据的过程是一条一条删除的,并且同时将该行的删除操作作为十五记录在日志中保存以便进行回滚操作。
这边我需要介绍另一种方案:
我需要删除2019年之前的数据,也就是需要保留以下部分数据的,
方案如下 :
1、创建新表backup和老表oldtable一样的表结果,具体操作: CREATE TABLE 新表 SELECT * FROM 旧表 WHERE 1=2;//筛选条件是选不出数据的
2、提取旧表中你需要的数据并插入新表, 具体操作:INSERT INTO 新表 SELECT * FROM 旧表 WHERE 查询条件
3、禁用外键为初始化旧表做准备SET foreign_key_checks = 0;(如果旧表中有外键,最好禁用下,否则truncate会提示,)
4、清空旧表中所有的数据: TRUNCATE TABLE 旧表;
5、将新表中数据全部在导入旧表
6、开启外键 set foreign_key_checks = 1;
上面的方案执行起来大概需要十分钟。
TRANCATE操作:一次性从表中删除所有数据并不把单独的删除记录记入日志保存,删除的记录不可恢复。
当表被truncate后,这个表和索引所占用的空间会恢复到初始大小,而delete操作不会减少表或索引所占用的空间
这边介绍一下delete,drop和truncate的使用场景
速度:drop>truncate>delete
如果想删除表,drop
如果想保留表而将所有数据删除,如果和事务无关,用truncate
如果和事务有关,或者想触发trigger,用delete。当然删除部分数据用delete
这篇关于mysql数据库删除千万条数据的操作方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!