SQL回炉系列(四) 删除重复数据

2023-11-10 17:32

本文主要是介绍SQL回炉系列(四) 删除重复数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

有时候因为采集程序的问题,会写入一模一样的两条数据,或者我们在做后期统计的过程中稍有不慎,重复运行了统计脚本,而数据库的字段定义又没有阻止重复数据的写入,那么你在这些重复数据中做查询和计算就很可能得到错误的结果,甚至因为重复数据的暴涨拖累整个数据库的运行。

这时你就需要动手删除重复数据。很简单对吧,几行delete足矣!可是,即使是英明神武的你,也会有一(绝)时(对)糊(手)涂(贱)的时候,一删错成千古恨有没有?有没有?

体会了数次懊丧经历之后,我终于开始正视这个问题,下面的步骤每一步都很简单,但照着它做会给你妥妥的保证。

--1. 判断有无重复数据
select back,getTime from dbo.CF_OriginalData_2014_12 group by back,getTime having count(*) > 1--2. 建临时表,拷贝表结构
select top 0 * into temp1 from CF_OriginalData_2014_12select * from temp1--3. 为临时表手动建索引,选择back+getTime为唯一索引,勾选忽略重复的值--4. 拷贝数据到临时表,此时重复记录会被忽略
insert into temp1(UA,UB,UC,IA,IB,IC,py,Qw,pf,EP,back,F,getTime,Number) Select UA,UB,UC,IA,IB,IC,py,Qw,pf,EP,back,F,getTime,Number from CF_OriginalData_2014_12--5. 将原表清空,重设自增列序号
delete from CF_OriginalData_2014_12
DBCC CHECKIDENT ('CF_OriginalData_2014_12', RESEED, 1)
DBCC CHECKIDENT ('CF_OriginalData_2014_12', RESEED)--6. 将临时表中数据考回原表
insert into CF_OriginalData_2014_12(UA,UB,UC,IA,IB,IC,py,Qw,pf,EP,back,F,getTime,Number)
select UA,UB,UC,IA,IB,IC,py,Qw,pf,EP,back,F,getTime,Number 
from temp1--7. 删除临时表
--drop table temp--8. 查看数据确认重复数据已删除
select top 100 * from CF_OriginalData_2014_12 order by getTime asc
  • SQL回炉系列(一) 序言
  • SQL回炉系列(二) 多表联合查询和排序
  • SQL回炉系列(三) 拆分原始数据到对应的月份表中
  • SQL回炉系列(四) 删除重复数据
  • SQL回炉系列(五) 为显示曲线图获取不同时间颗粒的数据

这篇关于SQL回炉系列(四) 删除重复数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/384210

相关文章

数据库面试必备之MySQL中的乐观锁与悲观锁

《数据库面试必备之MySQL中的乐观锁与悲观锁》:本文主要介绍数据库面试必备之MySQL中乐观锁与悲观锁的相关资料,乐观锁适用于读多写少的场景,通过版本号检查避免冲突,而悲观锁适用于写多读少且对数... 目录一、引言二、乐观锁(一)原理(二)应用场景(三)示例代码三、悲观锁(一)原理(二)应用场景(三)示例

SpringBoot集成Milvus实现数据增删改查功能

《SpringBoot集成Milvus实现数据增删改查功能》milvus支持的语言比较多,支持python,Java,Go,node等开发语言,本文主要介绍如何使用Java语言,采用springboo... 目录1、Milvus基本概念2、添加maven依赖3、配置yml文件4、创建MilvusClient

SQL表间关联查询实例详解

《SQL表间关联查询实例详解》本文主要讲解SQL语句中常用的表间关联查询方式,包括:左连接(leftjoin)、右连接(rightjoin)、全连接(fulljoin)、内连接(innerjoin)、... 目录简介样例准备左外连接右外连接全外连接内连接交叉连接自然连接简介本文主要讲解SQL语句中常用的表

SQL server配置管理器找不到如何打开它

《SQLserver配置管理器找不到如何打开它》最近遇到了SQLserver配置管理器打不开的问题,尝试在开始菜单栏搜SQLServerManager无果,于是将自己找到的方法总结分享给大家,对SQ... 目录方法一:桌面图标进入方法二:运行窗口进入方法三:查找文件路径方法四:检查 SQL Server 安

MySQL 中的 LIMIT 语句及基本用法

《MySQL中的LIMIT语句及基本用法》LIMIT语句用于限制查询返回的行数,常用于分页查询或取部分数据,提高查询效率,:本文主要介绍MySQL中的LIMIT语句,需要的朋友可以参考下... 目录mysql 中的 LIMIT 语句1. LIMIT 语法2. LIMIT 基本用法(1) 获取前 N 行数据(

SpringValidation数据校验之约束注解与分组校验方式

《SpringValidation数据校验之约束注解与分组校验方式》本文将深入探讨SpringValidation的核心功能,帮助开发者掌握约束注解的使用技巧和分组校验的高级应用,从而构建更加健壮和可... 目录引言一、Spring Validation基础架构1.1 jsR-380标准与Spring整合1

MySQL 分区与分库分表策略应用小结

《MySQL分区与分库分表策略应用小结》在大数据量、复杂查询和高并发的应用场景下,单一数据库往往难以满足性能和扩展性的要求,本文将详细介绍这两种策略的基本概念、实现方法及优缺点,并通过实际案例展示如... 目录mysql 分区与分库分表策略1. 数据库水平拆分的背景2. MySQL 分区策略2.1 分区概念

MySQL高级查询之JOIN、子查询、窗口函数实际案例

《MySQL高级查询之JOIN、子查询、窗口函数实际案例》:本文主要介绍MySQL高级查询之JOIN、子查询、窗口函数实际案例的相关资料,JOIN用于多表关联查询,子查询用于数据筛选和过滤,窗口函... 目录前言1. JOIN(连接查询)1.1 内连接(INNER JOIN)1.2 左连接(LEFT JOI

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入