关于littlefs文件系统的效率问题

2024-04-12 01:48

本文主要是介绍关于littlefs文件系统的效率问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近在使用littlefs文件系统,由于要跟原系统做兼容
没有使用FAL接口及MTD设备,直接使用lfs操作的块设备,

从官方的资料来看,littlefs有点还是很明显的,
占用资源少,自带磨损均衡等等。。。

移植完成后,测试lfs系统挂载及读写操作都没有问题,
但执行效率极慢,连最基本的ls命令都是一个一个的出,
而同样的工程,换成FAT系统,就完全不一样,效果如下

使用littlefs时的效果

ls.gif



使用fat时的效果

ls2.gif



文件使用的是同一个工程,底层SPI驱动都是完全一样的,
不知道为什么会差别这么大,

而且使用littlefs时,读写文件达到几K时,经常会引起系统重启,
具体原因未知,还在查找中

通宵敲代码:

在SPI读写函数中优化掉下面这条代码,
效果有所改善,但还是不尽人意,继续优化。

优化掉的代码

QQ截图20191226142116.png



测试效果
[img=110,0][/img]



 

ls3.gif

用示波器抓去了一下数据读写的波形,
同样是往SPI Flash写入一个2K(2018Byte)的文件,
需要的时间差别还是挺大的,

待写入的文件,随机写入的一串数字

QQ截图20191226151121.png



littlefs文件系统需要的时间,差不多用了900ms,
而且测试发现,文件重复写入时需要的时间会更长

微信图片_20191226150907.jpg




相比之下,fat文件系统只用了不到300ms

微信图片_20191226150914.jpg




差距还是蛮大的

xdj999:建议用fal 转mtd,我用的好像速度没问题

通宵敲代码:

xdj999 发表于 2019-12-26 17:11
建议用fal 转mtd,我用的好像速度没问题



嗯嗯,下一步准备试试

附上两个帖子,看来不止一位朋友遇到了这个问题
有人提出是sync函数的问题,有机会查查看


https://www.amobbs.com/thread-5717005-1-1.html

附上两个mbed论坛关于littlefs读写问题的问答,有关细节的资料,可以参考下源文件中的DESIGN.md
SPEC.md,目前我也还在研究中


第一个是关于文件覆盖写入的问题



当在一个现有的文件中重新写入数据时,会另外开辟新的Flash块,
在新的Flash块中将数据写完之后,会将原先的块做“丢弃”处理,
官方给的回答是正常,是为了做磨损均衡,应该也是为了断电保护;

QQ截图20200103112242.png






另外我还发现,在新块中写入数据是,也会将旧块中相对多出来的数据也复制到新块中,
导致我们写很少数据时,却在后台引起了大块数据的复制操作,可以看下面做的测试


 

同一文件覆盖写入测试.png

第二个是有人提问“littlefs性能不佳及读取频繁的问题”


下面是用户提问及官方给出的回答,
感觉littlefs为了处理断电恢复及磨损均衡问题,
牺牲了很大的运行性能
 

无标题.png

hichard:需要速度还是用Nand或者mmc卡。spi flash本身慢,littlefs为了安全也慢!

通宵敲代码:

为了验证littlefs的读写测试策略,我尝试进行了如下测试,
并将测试过程中littlefs对SPI Flash的所有操作全部打印了出来,然后进行了分析。

测试用到的代码如下(其中addr初始化的值需要每次手动更改)

const char spi_test[] = "LittleFS - A high-integrity embedded file system ";char test[256];u32 i, cnt = 0;u32 addr1=8192;int fd;fd = open("LittleFS.bin", O_WRONLY | O_CREAT, 0);for(i=0;i<4;i++){
rt_kprintf("SPI Flash write time #%d -- %d\n",i , rt_tick_get());rt_snprintf(test, sizeof(test), "%s -- %d", spi_test, rt_tick_get());lseek(fd, addr1, SEEK_SET);write(fd, (u8 *)test, sizeof(test));addr1 += sizeof(test);}close(fd);addr1 = 0;fd = open("LittleFS.bin", O_RDONLY, 0);for(i=0;i<36;i++){rt_kprintf("SPI Flash read time #%d -- %d\n",i , rt_tick_get());lseek(fd, addr1, SEEK_SET);read(fd, (u8 *)test, sizeof(test));addr1 += sizeof(test);}close(fd);




具体的测试步骤如下:
第一次测试
新建文件LittleFS.bin,从文件0地址处开始,写入四次数据,每次256字节
前两次写入时,写入块地址 —— 0x75F000,写入数据重复 “LittleFS -- 177”
第三次写入时,写入块地址 —— 0x760000,先复制0x75F000处的两次数据到0x760000,再写入第三次的数据 “LittleFS -- 203”
第四次写入时,写入块地址 —— 0x761000,先复制0x760000处的两次数据到0x761000,再写入第四次的数据 “LittleFS -- 228
写入结束,文件大小1024Byte,存储块在0x761000处


第二次测试
从文件LittleFS.bin 4096地址处开始,写入四次数据,每次256字节
第一次写入,写入块地址 —— 0x783000,先复制0x761000处的四次数据到0x783000,然后从0x783400处写入3072Byte,填充数据到0x783FFF,
再从0x784000处开始,写入本次的数据,然而数据丢失,只写入“?”
第二次写入,写入块地址 —— 0x785000,先复制0x784000处的一次数据到0x785000,再写入第二次的数据 “LittleFS -- 281”
第三次写入,写入块地址 —— 0x786000,先复制0x785000处的两次数据到0x785000,再写入第三次的数据 “LittleFS -- 309”
第四次写入,写入块地址 —— 0x787000,先复制0x786000处的三次数据到0x785000,再写入第四次的数据 “LittleFS -- 343”
写入结束,文件大小5120Byte,存储块在0x783000->0x787000处


第三次测试
从文件LittleFS.bin 5120地址处开始,写入四次数据,每次256字节
第一次写入,写入块地址 —— 0x6B7000,先复制0x787000处的四次数据到0x6B7000,
再从0x6B7400处开始,写入本次的数据 “LittleFS -- 190”
第二次写入,写入块地址 —— 0x6B8000,先复制0x6B7000处的五次数据到0x6B8000,再写入第二次的数据 “LittleFS -- 248”
第三次写入,写入块地址 —— 0x6B9000,先复制0x6B8000处的六次数据到0x6B9000,再写入第三次的数据 “LittleFS -- 304”
第四次写入,写入块地址 —— 0x6BA000,先复制0x6B9000处的七次数据到0x6BA000,再写入第四次的数据 “LittleFS -- 366”
写入结束,文件大小6144Byte,存储块在0x783000->0x6BA000处


第四次测试
从文件LittleFS.bin 8192地址处开始,写入四次数据,每次256字节
第一次写入,写入块地址 —— 0x5DD000,先复制0x6BA000处的八次数据到0x5DD000,然后从0x5DD800处写入3072Byte,填充数据到0x5DDFFF,
再从0x5DE000处开始,写入本次的数据,然而数据丢失,只写入“?”
第二次写入,写入块地址 —— 0x5DF000,先复制0x5DE000处的一次数据到0x5DF000,再写入第二次的数据 “LittleFS -- 315”
第三次写入,写入块地址 —— 0x5E0000,先复制0x5DF000处的两次数据到0x5E0000,再写入第三次的数据 “LittleFS -- 344”
第四次写入,写入块地址 —— 0x5E1000,先复制0x5E0000处的三次数据到0x5E1000,再写入第四次的数据 “LittleFS -- 376”
写入结束,文件大小9216Byte,存储块在0x783000->0x5DD000->0x5E1000处

第五次测试
分36次,完全读出LittleFS.bin文件内容,对比操作地址与内容,与上面描述一致


附上测试过程输出的日志文件,感兴趣的可以看看
下载附件[多次读写使文件超过4K的验证测试.txt]


总结一下:
1、littlefs文件系统初始化时,会在SPI Flash最开始的两个块中格式化出两个超级块,用于对文件系统的识别及根目录的索引;
2、在建立文件或目录时,littlefs会从超级块中分配一个页用于记录文件的基本信息,并建立文件数据的索引以找到文件的具体数据内容;
3、当文件大小小于一个块尺寸时,尽管文件系统不对超出的部分引索,但其他文件仍然不能使用这个块的剩余部分,所以一个文件至少占用一个块尺寸;
4、如果写入到文件中的数据超过一个块尺寸时,文件系统会在各个块中建立联系,确保数据的联系性,但各个块在物理地址上不一定连续;
5、当在一个文件中追加数据时,文件系统会复制源文件中最后不足一个块的数据到一个新的块,然后在新的块中追加要写入的数据,也就是littlefs的“磨损均衡”;
6、接上边第五条,在数据写入时,littlefs每次都会新开辟一个数据块,然后在新的数据块中添加要写入的数据,即便是对原文件覆盖写入也同样开辟一个新的块,待整个块写满或数据写完时才更新文件索引,让新的数据块在文件链路中生效, 由于数据写入的较慢,而索引更新只需一次写入即可,所以littlefs能实现“断电恢复”。

hichard 发表于 2020-1-3 15:01
需要速度还是用Nand或者mmc卡。spi flash本身慢,littlefs为了安全也慢!



嗯嗯,不过用nand跟mmc相对成本要高,
而且资源占也量要多很多,SPI也能满足需求了

FTP测试发现大文件读写时,会引起系统看门狗复位,
在SPI flash操作函数中增加喂狗操作,问题解决

实际测试,写入速度能达到50kB/s,读取速度约80KB/s

flyboy 发表于 2020-3-5 09:30
楼主有没有测试换成 mtd 设备之后的读写效率呢?,期待.jpg



没测试mtd下的效果,
mtd进行了再次封装,相对更复杂一点,效率估计不如现在。

RT-Thread-关于littlefs文件系统的效率问题RT-Thread问答社区 - RT-Thread

这篇关于关于littlefs文件系统的效率问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/895777

相关文章

SpringBoot启动报错的11个高频问题排查与解决终极指南

《SpringBoot启动报错的11个高频问题排查与解决终极指南》这篇文章主要为大家详细介绍了SpringBoot启动报错的11个高频问题的排查与解决,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一... 目录1. 依赖冲突:NoSuchMethodError 的终极解法2. Bean注入失败:No qu

MySQL新增字段后Java实体未更新的潜在问题与解决方案

《MySQL新增字段后Java实体未更新的潜在问题与解决方案》在Java+MySQL的开发中,我们通常使用ORM框架来映射数据库表与Java对象,但有时候,数据库表结构变更(如新增字段)后,开发人员可... 目录引言1. 问题背景:数据库与 Java 实体不同步1.1 常见场景1.2 示例代码2. 不同操作

如何解决mysql出现Incorrect string value for column ‘表项‘ at row 1错误问题

《如何解决mysql出现Incorrectstringvalueforcolumn‘表项‘atrow1错误问题》:本文主要介绍如何解决mysql出现Incorrectstringv... 目录mysql出现Incorrect string value for column ‘表项‘ at row 1错误报错

如何解决Spring MVC中响应乱码问题

《如何解决SpringMVC中响应乱码问题》:本文主要介绍如何解决SpringMVC中响应乱码问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC最新响应中乱码解决方式以前的解决办法这是比较通用的一种方法总结Spring MVC最新响应中乱码解

pip无法安装osgeo失败的问题解决

《pip无法安装osgeo失败的问题解决》本文主要介绍了pip无法安装osgeo失败的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 进入官方提供的扩展包下载网站寻找版本适配的whl文件注意:要选择cp(python版本)和你py

解决Java中基于GeoTools的Shapefile读取乱码的问题

《解决Java中基于GeoTools的Shapefile读取乱码的问题》本文主要讨论了在使用Java编程语言进行地理信息数据解析时遇到的Shapefile属性信息乱码问题,以及根据不同的编码设置进行属... 目录前言1、Shapefile属性字段编码的情况:一、Shp文件常见的字符集编码1、System编码

Spring MVC使用视图解析的问题解读

《SpringMVC使用视图解析的问题解读》:本文主要介绍SpringMVC使用视图解析的问题解读,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring MVC使用视图解析1. 会使用视图解析的情况2. 不会使用视图解析的情况总结Spring MVC使用视图

Redis解决缓存击穿问题的两种方法

《Redis解决缓存击穿问题的两种方法》缓存击穿问题也叫热点Key问题,就是⼀个被高并发访问并且缓存重建业务较复杂的key突然失效了,无数的请求访问会在瞬间给数据库带来巨大的冲击,本文给大家介绍了Re... 目录引言解决办法互斥锁(强一致,性能差)逻辑过期(高可用,性能优)设计逻辑过期时间引言缓存击穿:给

Linux中的缓冲区和文件系统详解

《Linux中的缓冲区和文件系统详解》:本文主要介绍Linux中的缓冲区和文件系统方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、FILE结构1、fd2、缓冲区二、文件系统1、固态硬盘2、逻辑地址LBA(一)数据块 Data blocks(二)inode表

Java程序运行时出现乱码问题的排查与解决方法

《Java程序运行时出现乱码问题的排查与解决方法》本文主要介绍了Java程序运行时出现乱码问题的排查与解决方法,包括检查Java源文件编码、检查编译时的编码设置、检查运行时的编码设置、检查命令提示符的... 目录一、检查 Java 源文件编码二、检查编译时的编码设置三、检查运行时的编码设置四、检查命令提示符