【MySQL】删除重复记录保留一条的高性能DELETE写法

本文主要是介绍【MySQL】删除重复记录保留一条的高性能DELETE写法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


     周中遇到一个情况就是一张表出现了很多重复记录,需要删除掉这些重复记录只保留一条,因为有自增长的主键,就决定保留PK最小的那一条吧。具体操作过程记录如下。


     建一张示例表并插些数据看看吧。

         mysql> CREATE TABLE `visitor_province_yn` (
          ->   `id` INT(11) NOT NULL AUTO_INCREMENT,
          ->   `visitor` int(10) unsigned NOT NULL,
          ->   `province` varchar(25) NOT NULL,
          ->   `yn` CHAR(1) NOT NULL,
          ->   PRIMARY KEY (`id`)
          -> );
         Query OK, 0 rows affected (0.01 sec)

         mysql> INSERT INTO `visitor_province_yn`(`visitor`, `province`, `yn`) VALUES
          -> (11, 'A省', 'Y'),
          -> (11, 'A省', 'Y'),
          -> (11, 'A省', 'Y'),
          -> (22, 'B省', 'N'),
          -> (22, 'B省', 'N'),
          -> (22, 'B省', 'N'),
          -> (33, 'C省', 'Y'),
          -> (33, 'C省', 'Y'),
          -> (33, 'C省', 'Y');
         Query OK, 9 rows affected (0.00 sec)
         Records: 9  Duplicates: 0  Warnings: 0

     示例表“visitor_province_yn”表的数据如下,按照预想是删除重复保留“id”是1、4以及7这三条记录。

mysql> SELECT * FROM `visitor_province_yn`;
+----+---------+----------+----+
| id | visitor | province | yn |
+----+---------+----------+----+
|  1 |      11 | A省      | Y  |
|  2 |      11 | A省      | Y  |
|  3 |      11 | A省      | Y  |
|  4 |      22 | B省      | N  |
|  5 |      22 | B省      | N  |
|  6 |      22 | B省      | N  |
|  7 |      33 | C省      | Y  |
|  8 |      33 | C省      | Y  |
|  9 |      33 | C省      | Y  |
+----+---------+----------+----+
9 rows in set (0.00 sec)

     首先想到的是以下写法,因为DML和DQL是同一张表,不得不额外多一层嵌套子查询。所以,觉得这种写法简单明晰,但是性能应该要有所折扣。

DELETE FROM visitor_province_ynWHERE id NOT IN(SELECT idFROM(SELECT MIN(vpy.id) AS idFROM visitor_province_yn AS vpyGROUP BY vpy.visitor, vpy.province, vpy.yn) AS tmp);

     于是,又去查询了一下MySQL官方手册有关“DELETE”语法的解释(http://dev.mysql.com/doc/refman/5.7/en/delete.html),结果一眼就找到了当前需要的另一种写法,在文档的“Multi-Table Deletes”部分,形式如下。


         DELETE t1 FROM t1 LEFT JOIN t2 ON t1.id=t2.id WHERE t2.id IS NULL;


     以此为参考,改写后的SQL如下所示。

DELETE visitor_province_yn
FROM visitor_province_yn
LEFT JOIN(SELECT MIN(vpy.id) AS idFROM visitor_province_yn AS vpyGROUP BY vpy.visitor, vpy.province, vpy.yn) AS tmp USING (id)
WHERE tmp.id IS NULL;

     因此,原来这种左连接返回存在于左表中而不存在于右表中记录的写法同样适用于“DELETE”。“EXPLAIN”一下发现,第二种写法以“PRIMARY”的查询方式代替第一种写法的“DEPENDENT SUBQUERY”,扫描更少的记录行,而且关联方式“type”是性能更优的“ref”(参考译文:http://blog.csdn.net/sweeper_freedoman/article/details/52819839)。由此可见,第二种写法更值得选择。




这篇关于【MySQL】删除重复记录保留一条的高性能DELETE写法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/760365

相关文章

MySQL查看表的历史SQL的几种实现方法

《MySQL查看表的历史SQL的几种实现方法》:本文主要介绍多种查看MySQL表历史SQL的方法,包括通用查询日志、慢查询日志、performance_schema、binlog、第三方工具等,并... 目录mysql 查看某张表的历史SQL1.查看MySQL通用查询日志(需提前开启)2.查看慢查询日志3.

MySQL底层文件的查看和修改方法

《MySQL底层文件的查看和修改方法》MySQL底层文件分为文本类(可安全查看/修改)和二进制类(禁止手动操作),以下按「查看方法、修改方法、风险管控三部分详细说明,所有操作均以Linux环境为例,需... 目录引言一、mysql 底层文件的查看方法1. 先定位核心文件路径(基础前提)2. 文本类文件(可直

Python列表的创建与删除的操作指南

《Python列表的创建与删除的操作指南》列表(list)是Python中最常用、最灵活的内置数据结构之一,它支持动态扩容、混合类型、嵌套结构,几乎无处不在,但你真的会创建和删除列表吗,本文给大家介绍... 目录一、前言二、列表的创建方式1. 字面量语法(最常用)2. 使用list()构造器3. 列表推导式

MySQL数据目录迁移的完整过程

《MySQL数据目录迁移的完整过程》文章详细介绍了将MySQL数据目录迁移到新硬盘的整个过程,包括新硬盘挂载、创建新的数据目录、迁移数据(推荐使用两遍rsync方案)、修改MySQL配置文件和重启验证... 目录1,新硬盘挂载(如果有的话)2,创建新的 mysql 数据目录3,迁移 MySQL 数据(推荐两

MyBatis-Plus逻辑删除实现过程

《MyBatis-Plus逻辑删除实现过程》本文介绍了MyBatis-Plus如何实现逻辑删除功能,包括自动填充字段、配置与实现步骤、常见应用场景,并展示了如何使用remove方法进行逻辑删除,逻辑删... 目录1. 逻辑删除的必要性编程1.1 逻辑删除的定义1.2 逻辑删php除的优点1.3 适用场景2.

MySQL字符串转数值的方法全解析

《MySQL字符串转数值的方法全解析》在MySQL开发中,字符串与数值的转换是高频操作,本文从隐式转换原理、显式转换方法、典型场景案例、风险防控四个维度系统梳理,助您精准掌握这一核心技能,需要的朋友可... 目录一、隐式转换:自动但需警惕的&ld编程quo;双刃剑”二、显式转换:三大核心方法详解三、典型场景

MySQL中between and的基本用法、范围查询示例详解

《MySQL中betweenand的基本用法、范围查询示例详解》BETWEENAND操作符在MySQL中用于选择在两个值之间的数据,包括边界值,它支持数值和日期类型,示例展示了如何使用BETWEEN... 目录一、between and语法二、使用示例2.1、betwphpeen and数值查询2.2、be

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表(结构+数据)的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表(1... 目录一、mysql 复制表(结构+数据)的 4 种核心方法(面试结构化回答)方法 1:CREATE

SQL Server中行转列方法详细讲解

《SQLServer中行转列方法详细讲解》SQL行转列、列转行可以帮助我们更方便地处理数据,生成需要的报表和结果集,:本文主要介绍SQLServer中行转列方法的相关资料,需要的朋友可以参考下... 目录前言一、为什么需要行转列二、行转列的基本概念三、使用PIVOT运算符进行行转列1.创建示例数据表并插入数

MySQL MHA集群详解(数据库高可用)

《MySQLMHA集群详解(数据库高可用)》MHA(MasterHighAvailability)是开源MySQL高可用管理工具,用于自动故障检测与转移,支持异步或半同步复制的MySQL主从架构,本... 目录mysql 高可用方案:MHA 详解与实战1. MHA 简介2. MHA 的组件组成(1)MHA