本文主要是介绍高并发利器WAL顺序写,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
WAL机制
事物日志可以帮助提高事物的效率。使用事物日志,存储引擎在修改标的数据时只需要修改其内存拷贝,再把修改行为记录到持久在硬盘上的事务日志中,而不用每次都将修改的数据本身持久到磁盘中。事物日志采用的是追加的方式,因此写日志的操作是磁盘上一小块区域内的顺序I/O,而不像随机I/O需要在磁盘的多个地方移动磁头,所以采用事物日志的方式相对来说要快得多。事务日志持久以后,内存中被修改的数据在后台可以慢慢地刷回磁盘。目前大多数的存储引擎都是这样实现的,我们通常称为预写式日志(Write-Ahead Logging),修改数据需要写两次磁盘。
Mysql InnoDB WAL
InnoDB的底层数据结构是B+树, WAL机制是通过redo log实现的,redo log 是固定大小的物理日志,比如可以配置为一组 4 个文件,每个文件的大小是 1GB,总共就可以记录 4GB 的操作。从头开始写,写到末尾就又回到开头循环写,如下面这个图所示。
write pos 是当前记录的位置,一边写一边后移,写到第 3 号文件末尾后就回到 0 号文件开头。checkpoint 是当前要擦除的位置,也是往后推移并且循环的,擦除记录前要把记录更新到数据文件。
write pos 和 checkpoint 之间的是“粉板”上还空着的部分,可以用来记录新的操作。如果 write pos 追上 checkpoint,表示“粉板”满了,这时候不能再执行新的更新,得停下来先擦掉一些记录,把 checkpoint 推进一下。
有了 redo log,InnoDB 就可以保证即使数据库发生异常重启,之前提交的记录都不会丢失,这个能力称为crash-safe。
Hbase WAL log
Hbase的底层数据结构是LSM树,WAl机制是通过内存数据结构RingBuffer、物理日志Hlog实现。
客户端的每一个修改都封装到KeyValue对象实例中,并通过RPC调用发送到含有匹配Region的HRegionServer。一旦KeyValue到达,它们就会被发送管理相应行的HRegion实例。数据被并发写到RingBuffer,然后有异步单线程消费刷文件HLOG;再然后被放入到实际拥有记录的存储文件的MemStore中。同时还会检查MemStore是否满了,如果满了就会被刷写到磁盘中去。
Kafka WAL
kafka是一个分布式的消息存储中间件,它没有消息更新的机制,所有的消息存储全部采用顺序追加写的机制,并发量可达到十万级。
参考文献
林晓斌-MySQL实战
这篇关于高并发利器WAL顺序写的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!