集合数据分批添加,删除

2024-06-10 15:58
文章标签 数据 删除 集合 分批

本文主要是介绍集合数据分批添加,删除,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分批次处理:

在处理大批量数据的时候一次性的插入或删除会对数据库造成压力(还有其他原因),我们分批处理,

private static final int DELETE_COUNT_LIMIT =2000;
if(!CollectionUtils.isEmpty(existTopicIds)){if (topicIds.size()>DELETE_COUNT_LIMIT){int size =topicIds.size()-1;int subIndex = (int) (((size)/DELETE_COUNT_LIMIT));subIndex = subIndex+((((size)%DELETE_COUNT_LIMIT))>0?1:0);for(int x=0; x<subIndex; x++){int endIndex = (x+1)*DELETE_COUNT_LIMIT;int startIndex = x*DELETE_COUNT_LIMIT;List<Integer> list = topicIds.subList(startIndex, endIndex>size?size+1:endIndex);regionHiddenConfigWriteMapper.deleteByTopicIds(list);topicHiddenForPurchasedWriteMapper.deleteByTopicIds(list);log.info("按照来源添加数据,先删除已经存在的数据,总共size={}条数据,这是第x={}次删除,删除专题list={}", + topicIds.size(),x+1,list);}} else {regionHiddenConfigWriteMapper.deleteByTopicIds(topicIds);topicHiddenForPurchasedWriteMapper.deleteByTopicIds(topicIds);log.info("按照来源添加数据,先删除已经存在的数据,总共size={}条数据,删除专题topicIds={}",topicIds.size(),topicIds);}
}
 

其他方式:

https://blog.csdn.net/lxxc11/article/details/52817817?winzoom=1

https://www.cnblogs.com/lewisat/p/4339748.html


这篇关于集合数据分批添加,删除的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1048613

相关文章

MySQL 中查询 VARCHAR 类型 JSON 数据的问题记录

《MySQL中查询VARCHAR类型JSON数据的问题记录》在数据库设计中,有时我们会将JSON数据存储在VARCHAR或TEXT类型字段中,本文将详细介绍如何在MySQL中有效查询存储为V... 目录一、问题背景二、mysql jsON 函数2.1 常用 JSON 函数三、查询示例3.1 基本查询3.2

SpringBatch数据写入实现

《SpringBatch数据写入实现》SpringBatch通过ItemWriter接口及其丰富的实现,提供了强大的数据写入能力,本文主要介绍了SpringBatch数据写入实现,具有一定的参考价值,... 目录python引言一、ItemWriter核心概念二、数据库写入实现三、文件写入实现四、多目标写入

使用Python将JSON,XML和YAML数据写入Excel文件

《使用Python将JSON,XML和YAML数据写入Excel文件》JSON、XML和YAML作为主流结构化数据格式,因其层次化表达能力和跨平台兼容性,已成为系统间数据交换的通用载体,本文将介绍如何... 目录如何使用python写入数据到Excel工作表用Python导入jsON数据到Excel工作表用

Mysql如何将数据按照年月分组的统计

《Mysql如何将数据按照年月分组的统计》:本文主要介绍Mysql如何将数据按照年月分组的统计方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql将数据按照年月分组的统计要的效果方案总结Mysql将数据按照年月分组的统计要的效果方案① 使用 DA

鸿蒙中Axios数据请求的封装和配置方法

《鸿蒙中Axios数据请求的封装和配置方法》:本文主要介绍鸿蒙中Axios数据请求的封装和配置方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1.配置权限 应用级权限和系统级权限2.配置网络请求的代码3.下载在Entry中 下载AxIOS4.封装Htt

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

使用C#代码在PDF文档中添加、删除和替换图片

《使用C#代码在PDF文档中添加、删除和替换图片》在当今数字化文档处理场景中,动态操作PDF文档中的图像已成为企业级应用开发的核心需求之一,本文将介绍如何在.NET平台使用C#代码在PDF文档中添加、... 目录引言用C#添加图片到PDF文档用C#删除PDF文档中的图片用C#替换PDF文档中的图片引言在当

macOS无效Launchpad图标轻松删除的4 种实用方法

《macOS无效Launchpad图标轻松删除的4种实用方法》mac中不在appstore上下载的应用经常在删除后它的图标还残留在launchpad中,并且长按图标也不会出现删除符号,下面解决这个问... 在 MACOS 上,Launchpad(也就是「启动台」)是一个便捷的 App 启动工具。但有时候,应

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分