【MySQL】删除重复记录保留一条的高性能DELETE写法

本文主要是介绍【MySQL】删除重复记录保留一条的高性能DELETE写法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


     周中遇到一个情况就是一张表出现了很多重复记录,需要删除掉这些重复记录只保留一条,因为有自增长的主键,就决定保留PK最小的那一条吧。具体操作过程记录如下。


     建一张示例表并插些数据看看吧。

         mysql> CREATE TABLE `visitor_province_yn` (
          ->   `id` INT(11) NOT NULL AUTO_INCREMENT,
          ->   `visitor` int(10) unsigned NOT NULL,
          ->   `province` varchar(25) NOT NULL,
          ->   `yn` CHAR(1) NOT NULL,
          ->   PRIMARY KEY (`id`)
          -> );
         Query OK, 0 rows affected (0.01 sec)

         mysql> INSERT INTO `visitor_province_yn`(`visitor`, `province`, `yn`) VALUES
          -> (11, 'A省', 'Y'),
          -> (11, 'A省', 'Y'),
          -> (11, 'A省', 'Y'),
          -> (22, 'B省', 'N'),
          -> (22, 'B省', 'N'),
          -> (22, 'B省', 'N'),
          -> (33, 'C省', 'Y'),
          -> (33, 'C省', 'Y'),
          -> (33, 'C省', 'Y');
         Query OK, 9 rows affected (0.00 sec)
         Records: 9  Duplicates: 0  Warnings: 0

     示例表“visitor_province_yn”表的数据如下,按照预想是删除重复保留“id”是1、4以及7这三条记录。

mysql> SELECT * FROM `visitor_province_yn`;
+----+---------+----------+----+
| id | visitor | province | yn |
+----+---------+----------+----+
|  1 |      11 | A省      | Y  |
|  2 |      11 | A省      | Y  |
|  3 |      11 | A省      | Y  |
|  4 |      22 | B省      | N  |
|  5 |      22 | B省      | N  |
|  6 |      22 | B省      | N  |
|  7 |      33 | C省      | Y  |
|  8 |      33 | C省      | Y  |
|  9 |      33 | C省      | Y  |
+----+---------+----------+----+
9 rows in set (0.00 sec)

     首先想到的是以下写法,因为DML和DQL是同一张表,不得不额外多一层嵌套子查询。所以,觉得这种写法简单明晰,但是性能应该要有所折扣。

DELETE FROM visitor_province_ynWHERE id NOT IN(SELECT idFROM(SELECT MIN(vpy.id) AS idFROM visitor_province_yn AS vpyGROUP BY vpy.visitor, vpy.province, vpy.yn) AS tmp);

     于是,又去查询了一下MySQL官方手册有关“DELETE”语法的解释(http://dev.mysql.com/doc/refman/5.7/en/delete.html),结果一眼就找到了当前需要的另一种写法,在文档的“Multi-Table Deletes”部分,形式如下。


         DELETE t1 FROM t1 LEFT JOIN t2 ON t1.id=t2.id WHERE t2.id IS NULL;


     以此为参考,改写后的SQL如下所示。

DELETE visitor_province_yn
FROM visitor_province_yn
LEFT JOIN(SELECT MIN(vpy.id) AS idFROM visitor_province_yn AS vpyGROUP BY vpy.visitor, vpy.province, vpy.yn) AS tmp USING (id)
WHERE tmp.id IS NULL;

     因此,原来这种左连接返回存在于左表中而不存在于右表中记录的写法同样适用于“DELETE”。“EXPLAIN”一下发现,第二种写法以“PRIMARY”的查询方式代替第一种写法的“DEPENDENT SUBQUERY”,扫描更少的记录行,而且关联方式“type”是性能更优的“ref”(参考译文:http://blog.csdn.net/sweeper_freedoman/article/details/52819839)。由此可见,第二种写法更值得选择。




这篇关于【MySQL】删除重复记录保留一条的高性能DELETE写法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/760365

相关文章

使用Dify访问mysql数据库详细代码示例

《使用Dify访问mysql数据库详细代码示例》:本文主要介绍使用Dify访问mysql数据库的相关资料,并详细讲解了如何在本地搭建数据库访问服务,使用ngrok暴露到公网,并创建知识库、数据库访... 1、在本地搭建数据库访问的服务,并使用ngrok暴露到公网。#sql_tools.pyfrom

MySQL中实现多表查询的操作方法(配sql+实操图+案例巩固 通俗易懂版)

《MySQL中实现多表查询的操作方法(配sql+实操图+案例巩固通俗易懂版)》本文主要讲解了MySQL中的多表查询,包括子查询、笛卡尔积、自连接、多表查询的实现方法以及多列子查询等,通过实际例子和操... 目录复合查询1. 回顾查询基本操作group by 分组having1. 显示部门号为10的部门名,员

MyBatis-Plus中静态工具Db的多种用法及实例分析

《MyBatis-Plus中静态工具Db的多种用法及实例分析》本文将详细讲解MyBatis-Plus中静态工具Db的各种用法,并结合具体案例进行演示和说明,具有很好的参考价值,希望对大家有所帮助,如有... 目录MyBATis-Plus中静态工具Db的多种用法及实例案例背景使用静态工具Db进行数据库操作插入

MySQL中COALESCE函数示例详解

《MySQL中COALESCE函数示例详解》COALESCE是一个功能强大且常用的SQL函数,主要用来处理NULL值和实现灵活的值选择策略,能够使查询逻辑更清晰、简洁,:本文主要介绍MySQL中C... 目录语法示例1. 替换 NULL 值2. 用于字段默认值3. 多列优先级4. 结合聚合函数注意事项总结C

通过ibd文件恢复MySql数据的操作方法

《通过ibd文件恢复MySql数据的操作方法》文章介绍通过.ibd文件恢复MySQL数据的过程,包括知道表结构和不知道表结构两种情况,对于知道表结构的情况,可以直接将.ibd文件复制到新的数据库目录并... 目录第一种情况:知道表结构第二种情况:不知道表结构总结今天干了一件大事,安装1Panel导致原来服务

mysql关联查询速度慢的问题及解决

《mysql关联查询速度慢的问题及解决》:本文主要介绍mysql关联查询速度慢的问题及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql关联查询速度慢1. 记录原因1.1 在一次线上的服务中1.2 最终发现2. 解决方案3. 具体操作总结mysql

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

MySql中的数据库连接池详解

《MySql中的数据库连接池详解》:本文主要介绍MySql中的数据库连接池方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql数据库连接池1、概念2、为什么会出现数据库连接池3、原理4、数据库连接池的提供商5、DataSource数据源6、DBCP7、C

MySQL的隐式锁(Implicit Lock)原理实现

《MySQL的隐式锁(ImplicitLock)原理实现》MySQL的InnoDB存储引擎中隐式锁是一种自动管理的锁,用于保证事务在行级别操作时的数据一致性和安全性,本文主要介绍了MySQL的隐式锁... 目录1. 背景:什么是隐式锁?2. 隐式锁的工作原理3. 隐式锁的类型4. 隐式锁的实现与源代码分析4

MySQL中Next-Key Lock底层原理实现

《MySQL中Next-KeyLock底层原理实现》Next-KeyLock是MySQLInnoDB存储引擎中的一种锁机制,结合记录锁和间隙锁,用于高效并发控制并避免幻读,本文主要介绍了MySQL中... 目录一、Next-Key Lock 的定义与作用二、底层原理三、源代码解析四、总结Next-Key L