关于Linux执行文件操作,断电后数据丢失问题

2024-03-10 03:38

本文主要是介绍关于Linux执行文件操作,断电后数据丢失问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

  在Debian下,批量执行cp命令后,机子立马断电(arm板),开机后发现文件大小都变为了0。但如果是过一会儿再断电,文件大小就正常。神奇的地方就在这边,我cp的文件里头有可执行文件,cp执行完是可以启动的,断电后反而打不开了,所以这个问题困扰了我很久。

原因

  linux这边读写文件都是优先在cache里面的,也就是cache/buffer的机制。当回写进程触发,或者脏数据超时(简单来说就是满足条件触发回写),缓存才会开始把数据写到IO。也就是说执行完cp后,如果有空闲的内存,那么就会默认写到内存里头,如果断电时候,回写没有触发,数据就全部丢失了。

解决方法

一、
  执行完cp后,调用sync命令。但是sync也只是告诉系统要开始写IO而已,实际还是异步,所以还是得等。所以可以调用sync后,执行sleep,不过sleep的度不好把控,要根据实际情况自己推算。
  如果是大文件的话,可以大文件拆分来写,但也只能解决燃眉之急,如果是arm这种随时断电的机子,还是没法解决。

二、
  linux后台有守护进程每隔一段时间执行一次sync,那么可以修改或者说缩短sync时间,通过多写来确保数据安全。或者也可以减小cache,让sync的条件更容易触发,来解决这个问题。两个本质上都是提高系统从cache到IO的频率。(第二点瞎掰的,应该要改内核)

三、
  个人比较倾向这种。通过fflush和fsync来实现。

Created with Raphaël 2.3.0 打开文件 write执行写文件 fflush刷新到cache fsync刷新到IO 结束

因为fsync是同步的,会等到写磁盘成功才返回。但是这样的话,时间的损耗就比较大。不过要像马儿跑得快,又不给马儿吃草是不存在的。

结束

上面一、三点在我看来是可行的,目前自己做法采取了第一种(懒得写太多东西)。若文章有错误,或者有更好的方式实现,欢迎评论指出。
在这里插入图片描述

后续

2023年5月23日更新

  无意间看到自己当初写的文章,觉得还有点不足,这里补充下:

  • 这种很随机的断电操作其实是很致命的,你无法保证关机的时候IO已经结束,个人认为硬件方面加个断电保护才是最可靠有效的。
  • 如果没做断电保护,可以每次写的时候先写一次备份,备份写完再COPY到主文件。这样就算断电数据丢失,也能保证主文件和备份至少有一个数据是完整的(只是不能保证数据一定是最新的)。在业务允许的情况下(允许数据不一定要最新),这个方法我觉得反而是最简单有效的。

这篇关于关于Linux执行文件操作,断电后数据丢失问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/792905

相关文章

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》:本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务(crontab)二、crontab基础1、cro

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

springboot循环依赖问题案例代码及解决办法

《springboot循环依赖问题案例代码及解决办法》在SpringBoot中,如果两个或多个Bean之间存在循环依赖(即BeanA依赖BeanB,而BeanB又依赖BeanA),会导致Spring的... 目录1. 什么是循环依赖?2. 循环依赖的场景案例3. 解决循环依赖的常见方法方法 1:使用 @La

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Mysql表的简单操作(基本技能)

《Mysql表的简单操作(基本技能)》在数据库中,表的操作主要包括表的创建、查看、修改、删除等,了解如何操作这些表是数据库管理和开发的基本技能,本文给大家介绍Mysql表的简单操作,感兴趣的朋友一起看... 目录3.1 创建表 3.2 查看表结构3.3 修改表3.4 实践案例:修改表在数据库中,表的操作主要

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa