使用多线程解决读写数据不一致的问题

2024-09-05 11:04

本文主要是介绍使用多线程解决读写数据不一致的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

在工作中我们经常会遇到从一个文件中读取数据,然后去做另一个操作,最近小编在日常工作中遇到一个问题:从一个json文件中读取参数化数据循环对比配置,发现生成的配置都是取得最后一个参数所生成的,在这里小编就很疑惑了,查看日志,入参都是没有问题的,是什么原因引起的呢?小编排查日志很久都没发现啥问题,于是我用单个参数进行更新发现每个参数都是OK的,不会存在更新失败的问题,所以参数是没有问题的,那么是哪里的问题呢。

然后我注意到执行循环对比时,多个配置进行对比程序运行完时间竟然还比单个文件运行时间短,这明显不合理啊,于是我突发奇想:是不是程序没执行完就往下循环了,因为小编刚开始是用的单线程。

初始代码

问题代码如下

# 省略库导入,代码仅供参考current_dir = os.getcwd()
config_dir = os.path.join(current_dir, 'configs')
app_file = os.path.join(config_dir, "app.json")
app_list = []
diff_result = Nonedef test_batch_diff():logging.info(f"{config_dir},{app_file}")with open(app_file, "r") as f:app_list = json.load(f)logging.info(f"{json.dumps(app_list, indent=2)}")for app_value in app_list:logging.info(f'app_value:{app_value}')app = app_value.get("app")a = app_value.get("a")e = app_value.get("e")version = app_value.get("version")app_dict = dict(app=app, a=a, e=e, version=version)logging.info(f'app_dict:{app_dict}')if app and a and e and version:# update_config_psa_data(**app_dict)diff_result = single_configs_compare_v2(app_dict)if diff_result:write_diff_results(app, diff_result)# 示例调用
if __name__ == "__main__":test_batch_diff()

为啥这个写入的diff_result都是psa_list最后的一个数据?小编查阅了下资料确认是:

可能出在single_configs_compare_v2(psa_dict)函数耗时较长,导致在该函数执行期间程序进入下一次循环,从而导致每次写入的diff_result都是最后一个数据。

执行时间较长,然后没完全执行完就开始下个循环了,导致参数化结果都是一样的,这显然是不可接受的。在这里可以将耗时较长的任务放在另外一个线程中进行处理,经测试,将耗时长的这个函数single_configs_compare_v2放到另外一个线程中执行问题就解决了。

使用多线程优化后的代码


# 省略库导入,代码仅供参考
current_dir = os.getcwd()
config_dir = os.path.join(current_dir, 'configs')
app_file = os.path.join(config_dir, "app.json")
app_list = []
diff_result = Nonedef process_app(app_dict):diff_result = single_configs_compare_v2(app_dict)if diff_result:write_diff_results(app_dict["app"], diff_result)def test_batch_diff():logging.info(f"{config_dir},{app_file}")with open(app_file, "r") as f:app_list = json.load(f)logging.info(f"{json.dumps(app_list, indent=2)}")threads = []for app_value in app_list:logging.info(f'app_value:{app_value}')app = app_value.get("app")a = app_value.get("a")e = app_value.get("e")version = app_value.get("version")app_dict = dict(app=app, a=a, e=e, version=version)logging.info(f'app_dict:{app_dict}')if app and a and e and version:thread = threading.Thread(target=process_app, args=(app_dict,))threads.append(thread)thread.start()# 确保所有线程都执行完毕for thread in threads:thread.join()# 示例调用
if __name__ == "__main__":test_batch_diff()

在这个修改后的代码中,我们将single_configs_compare_v2(app_dict)的执行放在了一个单独的线程中,这样可以避免阻塞主循环。通过使用多线程,可以让每次对比操作在独立的线程中进行,从而避免因为耗时操作导致的数据混乱问题。

总结

多线程是一种常见的并发编程模型,在许多应用场景中具有显著的优势。下面详细介绍多线程的使用场景及其优势。

多线程的使用场景

  1. I/O 密集型任务

    • 当程序需要频繁进行 I/O 操作(如磁盘读写、网络通信等),并且这些操作耗时较长时,使用多线程可以让其他线程继续执行,提高程序的整体响应速度和效率。
  2. CPU 密集型任务

    • 对于需要大量计算的任务,多线程可以充分利用多核处理器的并行计算能力,加快计算速度。但是需要注意的是,多线程在 CPU 密集型任务上的优势取决于具体的应用场景和硬件配置。
  3. 用户界面交互

    • 在图形用户界面(GUI)应用程序中,主线程通常负责处理用户交互事件,而其他线程则可以用来执行耗时的后台任务,避免用户界面冻结。
  4. 网络服务

    • 在服务器端开发中,多线程可以用来处理并发的客户端请求,每个客户端连接由一个独立的线程处理,提高服务器的响应能力和吞吐量。
  5. 批处理任务

    • 对于需要处理大量数据或任务的情况,可以将任务分解成多个子任务,并在多个线程中并行处理,以提高整体处理速度。

多线程的优势

  1. 提高响应速度

    • 多线程可以提高程序的响应速度,尤其是在处理 I/O 密集型任务时,可以让程序在等待 I/O 操作完成的同时继续执行其他任务。
  2. 提高资源利用率

    • 多线程可以更好地利用计算机系统的资源,尤其是多核处理器。每个线程都可以在不同的核心上并行执行,从而提高整体性能。
  3. 改善用户体验

    • 在 GUI 应用程序中,多线程可以避免由于长时间运行的任务导致的界面冻结,提供更好的用户体验。
  4. 简化复杂任务的处理

    • 对于复杂的任务,可以将其拆分成多个子任务,并在多个线程中并行执行,简化任务处理的难度。
  5. 提高系统吞吐量

    • 在服务器端应用中,多线程可以处理更多的并发请求,提高系统的吞吐量。

多线程的注意事项

尽管多线程有很多优势,但也存在一些需要注意的问题:

  1. 线程安全

    • 多线程环境下,多个线程可能会同时访问共享资源,因此需要确保对共享资源的访问是线程安全的,通常通过使用锁(如 threading.Lock)来实现。
  2. 死锁

    • 如果多个线程持有不同的锁,并且都在等待对方释放自己所需的锁,就会发生死锁。需要合理设计线程间的锁获取顺序来避免死锁。
  3. 资源开销

    • 创建和销毁线程会有一定的资源开销,因此在频繁创建和销毁线程时需要注意性能问题。
  4. 调试难度

    • 多线程程序的调试通常比单线程程序更加复杂,因为线程之间的执行顺序往往是不确定的,可能会引入难以复现的 bug。

总之,多线程是一种强大的工具,可以显著提高程序的性能和响应速度,但在使用时需要谨慎处理线程间的数据共享和同步问题。在适当的应用场景下,合理利用多线程可以带来极大的性能提升。

这篇关于使用多线程解决读写数据不一致的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1138780

相关文章

Linux下如何使用C++获取硬件信息

《Linux下如何使用C++获取硬件信息》这篇文章主要为大家详细介绍了如何使用C++实现获取CPU,主板,磁盘,BIOS信息等硬件信息,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录方法获取CPU信息:读取"/proc/cpuinfo"文件获取磁盘信息:读取"/proc/diskstats"文

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J

使用Python实现一个优雅的异步定时器

《使用Python实现一个优雅的异步定时器》在Python中实现定时器功能是一个常见需求,尤其是在需要周期性执行任务的场景下,本文给大家介绍了基于asyncio和threading模块,可扩展的异步定... 目录需求背景代码1. 单例事件循环的实现2. 事件循环的运行与关闭3. 定时器核心逻辑4. 启动与停

如何使用Nginx配置将80端口重定向到443端口

《如何使用Nginx配置将80端口重定向到443端口》这篇文章主要为大家详细介绍了如何将Nginx配置为将HTTP(80端口)请求重定向到HTTPS(443端口),文中的示例代码讲解详细,有需要的小伙... 目录1. 创建或编辑Nginx配置文件2. 配置HTTP重定向到HTTPS3. 配置HTTPS服务器

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm

Java Optional的使用技巧与最佳实践

《JavaOptional的使用技巧与最佳实践》在Java中,Optional是用于优雅处理null的容器类,其核心目标是显式提醒开发者处理空值场景,避免NullPointerExce... 目录一、Optional 的核心用途二、使用技巧与最佳实践三、常见误区与反模式四、替代方案与扩展五、总结在 Java

使用Java将DOCX文档解析为Markdown文档的代码实现

《使用Java将DOCX文档解析为Markdown文档的代码实现》在现代文档处理中,Markdown(MD)因其简洁的语法和良好的可读性,逐渐成为开发者、技术写作者和内容创作者的首选格式,然而,许多文... 目录引言1. 工具和库介绍2. 安装依赖库3. 使用Apache POI解析DOCX文档4. 将解析

Qt中QUndoView控件的具体使用

《Qt中QUndoView控件的具体使用》QUndoView是Qt框架中用于可视化显示QUndoStack内容的控件,本文主要介绍了Qt中QUndoView控件的具体使用,具有一定的参考价值,感兴趣的... 目录引言一、QUndoView 的用途二、工作原理三、 如何与 QUnDOStack 配合使用四、自

C++使用printf语句实现进制转换的示例代码

《C++使用printf语句实现进制转换的示例代码》在C语言中,printf函数可以直接实现部分进制转换功能,通过格式说明符(formatspecifier)快速输出不同进制的数值,下面给大家分享C+... 目录一、printf 原生支持的进制转换1. 十进制、八进制、十六进制转换2. 显示进制前缀3. 指

如何解决idea的Module:‘:app‘platform‘android-32‘not found.问题

《如何解决idea的Module:‘:app‘platform‘android-32‘notfound.问题》:本文主要介绍如何解决idea的Module:‘:app‘platform‘andr... 目录idea的Module:‘:app‘pwww.chinasem.cnlatform‘android-32