mysql 大表凌晨定时删除数据

2024-04-13 13:36

本文主要是介绍mysql 大表凌晨定时删除数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有几张表数据量非常大,一次维护量有点大(一个月有500多万条数据,并且还在往上涨),

于是想了个定时删除数据,每天凌晨执行,这样每天删除数据量就小,

循环删除,每次删除5000条数据,直到当天的数据删除完:

1,做删除过程:

CREATE DEFINER=`root`@`%` PROCEDURE `S_delete_data2`()
BEGIN

        
    #当次删除行数
    declare delrows_int int default 0;

    #删除月份量
    declare Month_int int default -12;    

    #条件为真循环
    loop_label:LOOP

                
        #开启事务(重要!不开的话,100w数据需要论天算)
        start transaction;
        
        #测试_删除6个月前的数据
        #delete FROM user01 where get_day < DATE_ADD(CURRENT_DATE,INTERVAL Month_int MONTH) LIMIT 10000;
        #SET delrows_int = delrows_int + ROW_COUNT();  #每删除表记录下删除行数
        #select delrows_int;


        #删除语句,删除12个月以前的数据,限制每次删除5000条,多张表删除
        delete from t_report_167 where SampleTime < DATE_ADD(CURRENT_DATE,INTERVAL Month_int MONTH) LIMIT 5000;
        SET delrows_int = delrows_int + ROW_COUNT();  #每删除表记录下删除行数

        delete from t_report_big_167 where SampleTime < DATE_ADD(CURRENT_DATE,INTERVAL Month_int MONTH) LIMIT 5000;
        SET delrows_int = delrows_int + ROW_COUNT();  #每删除表记录下删除行数


        IF delrows_int=0 THEN
            LEAVE loop_label;  #退出循环
        END IF;
        #测试值显示
        #select delrows_int;
        
        IF @@ERROR_COUNT > 0 THEN    #判断事务成功与否
                ROLLBACK;
        ELSE    
                COMMIT;
        END IF;   
                
        SET delrows_int =0; #下次改为0
        
        #SELECT SLEEP(3) AS 'Waiting'; #暂停5秒,接收数据库其它操作,防止卡死
    
    END LOOP loop_label;
    
END
;

2,生成一个定时任务

#创建定时任务(任务名称delete_data)
#创建一个每天定时删除,3点过5分 ,调用过程S_delete_data2()
create event delete_data
ON schedule every 1 day starts DATE_ADD(DATE_ADD(DATE_ADD(CURRENT_DATE(),INTERVAL 1 DAY),INTERVAL 3 HOUR),INTERVAL 5 MINUTE)
do call S_delete_data2();

3,事件调度器必须开启才有效

查看事件调度器是否开启
SHOW VARIABLES LIKE 'event_scheduler';

#开启事件调度器(如果没有开启的话,执行下面)
SET GLOBAL event_scheduler = ON;

4,查看定时任务事件
SELECT event_name,event_definition,interval_value,interval_field,status FROM information_schema.EVENTS;

5,删除定时任务(delete_data是任务名称)
drop event delete_data;

标记下,以后查用

这篇关于mysql 大表凌晨定时删除数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/900280

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

PHP轻松处理千万行数据的方法详解

《PHP轻松处理千万行数据的方法详解》说到处理大数据集,PHP通常不是第一个想到的语言,但如果你曾经需要处理数百万行数据而不让服务器崩溃或内存耗尽,你就会知道PHP用对了工具有多强大,下面小编就... 目录问题的本质php 中的数据流处理:为什么必不可少生成器:内存高效的迭代方式流量控制:避免系统过载一次性

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

MySQL的JDBC编程详解

《MySQL的JDBC编程详解》:本文主要介绍MySQL的JDBC编程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言一、前置知识1. 引入依赖2. 认识 url二、JDBC 操作流程1. JDBC 的写操作2. JDBC 的读操作总结前言本文介绍了mysq

java.sql.SQLTransientConnectionException连接超时异常原因及解决方案

《java.sql.SQLTransientConnectionException连接超时异常原因及解决方案》:本文主要介绍java.sql.SQLTransientConnectionExcep... 目录一、引言二、异常信息分析三、可能的原因3.1 连接池配置不合理3.2 数据库负载过高3.3 连接泄漏

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

GSON框架下将百度天气JSON数据转JavaBean

《GSON框架下将百度天气JSON数据转JavaBean》这篇文章主要为大家详细介绍了如何在GSON框架下实现将百度天气JSON数据转JavaBean,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录前言一、百度天气jsON1、请求参数2、返回参数3、属性映射二、GSON属性映射实战1、类对象映