【MySQL】删除重复记录保留一条的高性能DELETE写法

本文主要是介绍【MySQL】删除重复记录保留一条的高性能DELETE写法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!


     周中遇到一个情况就是一张表出现了很多重复记录,需要删除掉这些重复记录只保留一条,因为有自增长的主键,就决定保留PK最小的那一条吧。具体操作过程记录如下。


     建一张示例表并插些数据看看吧。

         mysql> CREATE TABLE `visitor_province_yn` (
          ->   `id` INT(11) NOT NULL AUTO_INCREMENT,
          ->   `visitor` int(10) unsigned NOT NULL,
          ->   `province` varchar(25) NOT NULL,
          ->   `yn` CHAR(1) NOT NULL,
          ->   PRIMARY KEY (`id`)
          -> );
         Query OK, 0 rows affected (0.01 sec)

         mysql> INSERT INTO `visitor_province_yn`(`visitor`, `province`, `yn`) VALUES
          -> (11, 'A省', 'Y'),
          -> (11, 'A省', 'Y'),
          -> (11, 'A省', 'Y'),
          -> (22, 'B省', 'N'),
          -> (22, 'B省', 'N'),
          -> (22, 'B省', 'N'),
          -> (33, 'C省', 'Y'),
          -> (33, 'C省', 'Y'),
          -> (33, 'C省', 'Y');
         Query OK, 9 rows affected (0.00 sec)
         Records: 9  Duplicates: 0  Warnings: 0

     示例表“visitor_province_yn”表的数据如下,按照预想是删除重复保留“id”是1、4以及7这三条记录。

mysql> SELECT * FROM `visitor_province_yn`;
+----+---------+----------+----+
| id | visitor | province | yn |
+----+---------+----------+----+
|  1 |      11 | A省      | Y  |
|  2 |      11 | A省      | Y  |
|  3 |      11 | A省      | Y  |
|  4 |      22 | B省      | N  |
|  5 |      22 | B省      | N  |
|  6 |      22 | B省      | N  |
|  7 |      33 | C省      | Y  |
|  8 |      33 | C省      | Y  |
|  9 |      33 | C省      | Y  |
+----+---------+----------+----+
9 rows in set (0.00 sec)

     首先想到的是以下写法,因为DML和DQL是同一张表,不得不额外多一层嵌套子查询。所以,觉得这种写法简单明晰,但是性能应该要有所折扣。

DELETE FROM visitor_province_ynWHERE id NOT IN(SELECT idFROM(SELECT MIN(vpy.id) AS idFROM visitor_province_yn AS vpyGROUP BY vpy.visitor, vpy.province, vpy.yn) AS tmp);

     于是,又去查询了一下MySQL官方手册有关“DELETE”语法的解释(http://dev.mysql.com/doc/refman/5.7/en/delete.html),结果一眼就找到了当前需要的另一种写法,在文档的“Multi-Table Deletes”部分,形式如下。


         DELETE t1 FROM t1 LEFT JOIN t2 ON t1.id=t2.id WHERE t2.id IS NULL;


     以此为参考,改写后的SQL如下所示。

DELETE visitor_province_yn
FROM visitor_province_yn
LEFT JOIN(SELECT MIN(vpy.id) AS idFROM visitor_province_yn AS vpyGROUP BY vpy.visitor, vpy.province, vpy.yn) AS tmp USING (id)
WHERE tmp.id IS NULL;

     因此,原来这种左连接返回存在于左表中而不存在于右表中记录的写法同样适用于“DELETE”。“EXPLAIN”一下发现,第二种写法以“PRIMARY”的查询方式代替第一种写法的“DEPENDENT SUBQUERY”,扫描更少的记录行,而且关联方式“type”是性能更优的“ref”(参考译文:http://blog.csdn.net/sweeper_freedoman/article/details/52819839)。由此可见,第二种写法更值得选择。




这篇关于【MySQL】删除重复记录保留一条的高性能DELETE写法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/760365

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL逻辑删除与唯一索引冲突解决方案

《MySQL逻辑删除与唯一索引冲突解决方案》本文探讨MySQL逻辑删除与唯一索引冲突问题,提出四种解决方案:复合索引+时间戳、修改唯一字段、历史表、业务层校验,推荐方案1和方案3,适用于不同场景,感兴... 目录问题背景问题复现解决方案解决方案1.复合唯一索引 + 时间戳删除字段解决方案2:删除后修改唯一字

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更