使用多线程解决读写数据不一致的问题

2024-09-05 11:04

本文主要是介绍使用多线程解决读写数据不一致的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

在工作中我们经常会遇到从一个文件中读取数据,然后去做另一个操作,最近小编在日常工作中遇到一个问题:从一个json文件中读取参数化数据循环对比配置,发现生成的配置都是取得最后一个参数所生成的,在这里小编就很疑惑了,查看日志,入参都是没有问题的,是什么原因引起的呢?小编排查日志很久都没发现啥问题,于是我用单个参数进行更新发现每个参数都是OK的,不会存在更新失败的问题,所以参数是没有问题的,那么是哪里的问题呢。

然后我注意到执行循环对比时,多个配置进行对比程序运行完时间竟然还比单个文件运行时间短,这明显不合理啊,于是我突发奇想:是不是程序没执行完就往下循环了,因为小编刚开始是用的单线程。

初始代码

问题代码如下

# 省略库导入,代码仅供参考current_dir = os.getcwd()
config_dir = os.path.join(current_dir, 'configs')
app_file = os.path.join(config_dir, "app.json")
app_list = []
diff_result = Nonedef test_batch_diff():logging.info(f"{config_dir},{app_file}")with open(app_file, "r") as f:app_list = json.load(f)logging.info(f"{json.dumps(app_list, indent=2)}")for app_value in app_list:logging.info(f'app_value:{app_value}')app = app_value.get("app")a = app_value.get("a")e = app_value.get("e")version = app_value.get("version")app_dict = dict(app=app, a=a, e=e, version=version)logging.info(f'app_dict:{app_dict}')if app and a and e and version:# update_config_psa_data(**app_dict)diff_result = single_configs_compare_v2(app_dict)if diff_result:write_diff_results(app, diff_result)# 示例调用
if __name__ == "__main__":test_batch_diff()

为啥这个写入的diff_result都是psa_list最后的一个数据?小编查阅了下资料确认是:

可能出在single_configs_compare_v2(psa_dict)函数耗时较长,导致在该函数执行期间程序进入下一次循环,从而导致每次写入的diff_result都是最后一个数据。

执行时间较长,然后没完全执行完就开始下个循环了,导致参数化结果都是一样的,这显然是不可接受的。在这里可以将耗时较长的任务放在另外一个线程中进行处理,经测试,将耗时长的这个函数single_configs_compare_v2放到另外一个线程中执行问题就解决了。

使用多线程优化后的代码


# 省略库导入,代码仅供参考
current_dir = os.getcwd()
config_dir = os.path.join(current_dir, 'configs')
app_file = os.path.join(config_dir, "app.json")
app_list = []
diff_result = Nonedef process_app(app_dict):diff_result = single_configs_compare_v2(app_dict)if diff_result:write_diff_results(app_dict["app"], diff_result)def test_batch_diff():logging.info(f"{config_dir},{app_file}")with open(app_file, "r") as f:app_list = json.load(f)logging.info(f"{json.dumps(app_list, indent=2)}")threads = []for app_value in app_list:logging.info(f'app_value:{app_value}')app = app_value.get("app")a = app_value.get("a")e = app_value.get("e")version = app_value.get("version")app_dict = dict(app=app, a=a, e=e, version=version)logging.info(f'app_dict:{app_dict}')if app and a and e and version:thread = threading.Thread(target=process_app, args=(app_dict,))threads.append(thread)thread.start()# 确保所有线程都执行完毕for thread in threads:thread.join()# 示例调用
if __name__ == "__main__":test_batch_diff()

在这个修改后的代码中,我们将single_configs_compare_v2(app_dict)的执行放在了一个单独的线程中,这样可以避免阻塞主循环。通过使用多线程,可以让每次对比操作在独立的线程中进行,从而避免因为耗时操作导致的数据混乱问题。

总结

多线程是一种常见的并发编程模型,在许多应用场景中具有显著的优势。下面详细介绍多线程的使用场景及其优势。

多线程的使用场景

  1. I/O 密集型任务

    • 当程序需要频繁进行 I/O 操作(如磁盘读写、网络通信等),并且这些操作耗时较长时,使用多线程可以让其他线程继续执行,提高程序的整体响应速度和效率。
  2. CPU 密集型任务

    • 对于需要大量计算的任务,多线程可以充分利用多核处理器的并行计算能力,加快计算速度。但是需要注意的是,多线程在 CPU 密集型任务上的优势取决于具体的应用场景和硬件配置。
  3. 用户界面交互

    • 在图形用户界面(GUI)应用程序中,主线程通常负责处理用户交互事件,而其他线程则可以用来执行耗时的后台任务,避免用户界面冻结。
  4. 网络服务

    • 在服务器端开发中,多线程可以用来处理并发的客户端请求,每个客户端连接由一个独立的线程处理,提高服务器的响应能力和吞吐量。
  5. 批处理任务

    • 对于需要处理大量数据或任务的情况,可以将任务分解成多个子任务,并在多个线程中并行处理,以提高整体处理速度。

多线程的优势

  1. 提高响应速度

    • 多线程可以提高程序的响应速度,尤其是在处理 I/O 密集型任务时,可以让程序在等待 I/O 操作完成的同时继续执行其他任务。
  2. 提高资源利用率

    • 多线程可以更好地利用计算机系统的资源,尤其是多核处理器。每个线程都可以在不同的核心上并行执行,从而提高整体性能。
  3. 改善用户体验

    • 在 GUI 应用程序中,多线程可以避免由于长时间运行的任务导致的界面冻结,提供更好的用户体验。
  4. 简化复杂任务的处理

    • 对于复杂的任务,可以将其拆分成多个子任务,并在多个线程中并行执行,简化任务处理的难度。
  5. 提高系统吞吐量

    • 在服务器端应用中,多线程可以处理更多的并发请求,提高系统的吞吐量。

多线程的注意事项

尽管多线程有很多优势,但也存在一些需要注意的问题:

  1. 线程安全

    • 多线程环境下,多个线程可能会同时访问共享资源,因此需要确保对共享资源的访问是线程安全的,通常通过使用锁(如 threading.Lock)来实现。
  2. 死锁

    • 如果多个线程持有不同的锁,并且都在等待对方释放自己所需的锁,就会发生死锁。需要合理设计线程间的锁获取顺序来避免死锁。
  3. 资源开销

    • 创建和销毁线程会有一定的资源开销,因此在频繁创建和销毁线程时需要注意性能问题。
  4. 调试难度

    • 多线程程序的调试通常比单线程程序更加复杂,因为线程之间的执行顺序往往是不确定的,可能会引入难以复现的 bug。

总之,多线程是一种强大的工具,可以显著提高程序的性能和响应速度,但在使用时需要谨慎处理线程间的数据共享和同步问题。在适当的应用场景下,合理利用多线程可以带来极大的性能提升。

这篇关于使用多线程解决读写数据不一致的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1138780

相关文章

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

mysql出现ERROR 2003 (HY000): Can‘t connect to MySQL server on ‘localhost‘ (10061)的解决方法

《mysql出现ERROR2003(HY000):Can‘tconnecttoMySQLserveron‘localhost‘(10061)的解决方法》本文主要介绍了mysql出现... 目录前言:第一步:第二步:第三步:总结:前言:当你想通过命令窗口想打开mysql时候发现提http://www.cpp

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区?1.2 分区的类型1.3 分区的优点1.4 分

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T

Spring Boot3虚拟线程的使用步骤详解

《SpringBoot3虚拟线程的使用步骤详解》虚拟线程是Java19中引入的一个新特性,旨在通过简化线程管理来提升应用程序的并发性能,:本文主要介绍SpringBoot3虚拟线程的使用步骤,... 目录问题根源分析解决方案验证验证实验实验1:未启用keep-alive实验2:启用keep-alive扩展建

SpringBoot启动报错的11个高频问题排查与解决终极指南

《SpringBoot启动报错的11个高频问题排查与解决终极指南》这篇文章主要为大家详细介绍了SpringBoot启动报错的11个高频问题的排查与解决,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一... 目录1. 依赖冲突:NoSuchMethodError 的终极解法2. Bean注入失败:No qu

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

springboot报错Invalid bound statement (not found)的解决

《springboot报错Invalidboundstatement(notfound)的解决》本文主要介绍了springboot报错Invalidboundstatement(not... 目录一. 问题描述二.解决问题三. 添加配置项 四.其他的解决方案4.1 Mapper 接口与 XML 文件不匹配