自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)存储技术专家成长路线

本文主要是介绍自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)存储技术专家成长路线,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

数字化时代的到来带来了大规模数据的产生,各行各业都面临着数据爆炸的挑战。 随着云计算、物联网、人工智能等新兴技术的发展,对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技能的人才更具有竞争力。

在这里插入图片描述

存储技术专家成长路线

技术点主要运用在存储库架构设计、企业级存储系统、分布式存储系统、云存储系统、分布式数据库、高性能存储引擎、文件系统等领域。

1.接口驱动层

在存储开发中,接口驱动层是指用于访问和操作底层存储系统的软件层。它提供了标准化的接口规范,使应用程序能够对存储设备进行读取、写入、管理和配置等操作。

  • NVMe(Non-Volatile Memory Express 是一种高性能、低延迟的存储接口协议,专门为固态硬盘(SSD)设计而开发的。)
  • SATA(Serial Advanced Technology Attachment 是一种串行的计算机总线接口,广泛应用于存储设备、光驱、显卡等各种计算机硬件中。在存储开发中的作用是提供基本的存储接口、提供高带宽传输、兼容性强和价格低廉。)
  • SCSi(Small Computer System Interface 是一种用于计算机和外部设备间进行数据传输的接口标准。提供高性能数据传输,支持多设备连接,提供高可靠性和冗余性,并具有高度灵活性。)
  • RDMA(Remote Direct Memory Access 是一种数据传输机制,允许两个计算机在不使用CPU的情况下直接从彼此的内存中读取和写入数据。在存储开发中的作用是降低延迟、提高吞吐量,提升存储性能,增强可靠性和数据完整性,并简化存储网络架构。)

2.内核层

内核层通常指的是存储软件的核心组成部分,即负责实现存储系统的基本功能和服务的程序模块。内核层通常包含多个子模块,例如文件系统、卷管理、快照、克隆、数据保护和恢复等,这些子模块共同构成了存储系统的核心。

  • ext4(第四扩展文件系统,是Linux操作系统中常用的一种文件系统。学习ext4文件系统可以帮助存储开发人员更好地理解和应用文件系统相关的技术和原理,从而提升存储系统的性能、可靠性和扩展性。)
  • xfs(XFS是一种高性能的文件系统,学习XFS可以帮助理解和应用高性能、大规模数据管理、可靠性和扩展性等方面的知识)
  • btrfs(Btrfs是一种先进的Linux文件系统,它的全称是B-tree file system。Btrfs采用了许多先进的技术,如快照、校验和、多设备支持等,可以提供出色的性能、可靠性和灵活性。学习Btrfs可以帮助掌握先进的存储技术、理解大规模数据管理、实现快照和备份、保护数据完整性等方面的知识。这些都是构建高效、可靠的存储系统所必需的技能和知识。)
  • procfs(procfs是一个虚拟的文件系统,用于提供有关系统和进程状态的动态信息。学习procfs可以更好地理解和管理存储系统。)
  • tracefs(tracefs是一个用于跟踪和调试内核的文件系统。它提供了一种方便的机制来跟踪和调试内核函数的执行流程和性能数据,可以帮助存储开发人员解决内核相关的问题、优化存储系统的性能,并验证功能的正确性。)
  • 项目:无存储文件系统Kingfs
  • 项目: nvme文件系统zerofs

3.vfs

VFS(Virtual File System,虚拟文件系统)是一个抽象层,用于在操作系统中统一管理不同的文件系统类型和访问方式。它是操作系统内核中的一部分,提供了对文件和文件系统的抽象接口,使得应用程序可以通过统一的方式来访问各种不同类型的文件系统。

学习VFS可以帮助理解和支持多种文件系统类型,简化文件系统与存储系统的交互方式,优化文件系统的性能,以及调试和开发文件系统。

io_uring

io_uring 是一个 Linux 内核提供的异步 I/O 框架,它旨在提供高性能和低延迟的 I/O 操作。io_uring 的设计目标是为用户空间程序提供一种高效的异步 I/O 接口,以取代传统的阻塞式 I/O 和其他异步 I/O 接口的局限性。

通过使用 io_uring,开发人员可以利用其高性能、低延迟和异步并行的特性来优化应用程序的 I/O 操作。它适用于需要处理大量 I/O 的场景,例如数据库、文件服务器、网络服务器等。同时,io_uring 的设计和接口相对简洁,易于使用和理解,使开发人员能够更容易地编写高效的异步 I/O 程序。

  • io_uring异步io
  • cq与sq的运行原理
  • 无锁队列
  • io_uring的setup/enter/register
  • liburing的开发库
  • liburing接口与psync接口的关系
  • 内存映射IO (mmap)
  • 零拷贝
  • psync与io_uring的iops性能对比
  • io_uring与epoll的qps对比
  • 项目:实现tcp+io_uring

fuse

FUSE(Filesystem in Userspace)是一个在用户空间实现文件系统的框架。它允许开发人员通过编写用户空间程序来创建自定义的文件系统,而无需修改操作系统内核。

帮助理解实现灵活的存储系统、定制化的数据管理逻辑,掌握文件系统操作和性能优化的技巧,并具备跨平台开发的能力。

  • fuse的运行原理
  • fuse内核模块
  • libfuse的开发库
  • fuse_operation结构体分析
  • 实现fuse文件系统
  • 项目:fuse与opencv实现图片加水印

4.SPDK

SPDK(Storage Performance Development Kit)是一个用于构建高性能存储应用程序的开源软件开发工具包。它专注于利用现代硬件和存储技术的特性,以最大化存储应用程序的性能。

SPDK 提供了一组库、驱动程序和工具,帮助开发人员构建低延迟、高吞吐量的存储应用程序。

SPDK 主要用于构建高性能存储应用程序,如存储控制器、分布式存储系统、虚拟化存储、数据库存储引擎等。

学习SPDK帮助你构建高性能存储应用程序,理解和应用用户空间驱动程序开发、零拷贝数据传输、事件驱动架构等关键技术,提高存储系统的性能和响应速度。

项目:文件系统

  • spdk blob文件系统设计分析
  • 文件系统引入线程与json配置解析
  • blobstore与blob的关系
  • 4层结构设计vfs
  • 从bIob读写到文件系统的原语操作实现
  • spdk的异步改造posix同步api
  • open/write/read/close的实现
  • LD_PRELOAD更好mysq|系统调用实现
  • iodepth讲解
  • 随机读,随机写,顺序读,顺序写

项目:NVMe的kv存储

  • KV存储拆解Set,Get,Mod,Del
  • bdev与blob对于kv存储的选择
  • kv service接口 set,get,modify,delete
  • pagechunk的get与put
  • btree/hash/map/radixtree/rbtree之间的选择
  • slab分配slot与释放slot
  • 为kv存储加上conf文件
  • kv存储测试用例与性能测试

5.应用层

项目:图床存储引擎 fastdfs

FastDFS是一个开源的分布式文件系统,它旨在解决大规模文件存储问题。FastDFS具有高性能、高可靠性和可扩展性,适用于需要存储大量小文件的场景,如图片存储、视频存储等。

学习FastDFS可以帮助你构建高性能、可扩展和可靠的分布式文件存储系统,满足大规模文件存储和检索的需求。此外,FastDFS的轻量级部署和易用性也使其成为存储开发的一种理想选择。

  • fastdfs架构分析和配置
  • 快速配置fastdfs
  • 上传文件逻辑分析
  • 下载文件逻辑分析
  • tracker,storage分 析
  • 存储机制
  • 支持断点续传
  • 相同文件内容只保存一份
  • 同步机制
  • 线性扩容
  • 如何实现高可用
  • 负载均衡
  • fastdfs-nginx-module模块分析
  • fastcgi请求与响应
  • nginx与fastcgi如何通信
  • nginx-fastcgi-fastdfs如何实现上传下载
  • http接口设计
  • 图床数据库设计
  • 图床文件上传,下载,分享功能实现
  • 业务流程实现

ceph

Ceph是一个开源的分布式存储系统,旨在提供可扩展性、高性能和高可靠性的存储解决方案。Ceph的设计理念是通过将存储和计算资源整合在一起,构建一个统一的分布式存储平台,能够同时支持对象存储、块存储和文件系统存储。

通过学习和使用Ceph可以构建高可靠性、高性能和可扩展的分布式存储解决方案,满足不同应用对存储的需求。

  • ceph的Docker集群部署
  • librados写入
  • 后端存储 ObjectStore
  • 存储池
  • 数据操作流程
  • RBDCache具体实现
  • Ceph加密和压缩
  • CRUSH算法
  • dmClock客户端
  • Ceph性能测试与分析

RockDB

RockDB是一个高性能、可靠性强且易于使用的嵌入式键值存储引擎。它适用于需要快速、持久化存储和检索大量数据的应用程序,并提供了灵活的数据模型选择。

学习RockDB可以帮助你掌握嵌入式高性能存储引擎的集成和应用,以满足应用程序对数据存储的高性能、持久化和可靠性等需求。这对于构建高效的数据存储系统和提供良好的用户体验至关重要。

  • LSM-Tree对于磁盘访问速度
  • Memtable落盘策略
  • SST文件格式
  • 预写式日志 Write-Ahead Log
  • BlockCache LRU缓存
  • Clock缓存机制
  • 写入流程
  • 读取流程
  • LSM-Tree的三大问 题
  • In-Memory Write Buffer

TiDB

TiDB是一个具有分布式架构、强一致性、ACID事务支持和水平扩展能力的开源关系型数据库。

学习TiDB可以帮助你掌握分布式关系型数据库的设计、部署和优化技术,满足应用程序对高可用性、扩展性和性能的要求,从而更好地应对大规模数据存储和处理的挑战。

  • 分布式关系型数据库 兼容MySQL5.7
  • TiDB分布式数据库整体架构
  • 水平扩展 redis-cluster
  • HTAP的OLTP与OLAP
  • TiDB本地部署
  • 集群测试
  • TiDB Server的模块分析
  • Physical与Logical Opt iomizer
  • 存储节点与数据映射关系
  • PD Server调度
  • TiKV Server数据存储
  • 分布式事务与MPP
  • WriteStall写停顿
  • raft运行机制
  • 两阶段提交
  • 隔离级别
  • MVCC
  • TiFlash的列式存储
  • raft列、lock列、write列、default列

系统性视频教程

详情 自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)

20+存储领域必备技术点

5个手写实现项目

1W+行代码

参考资料

  • ext4 Data Struct And Algorithms
  • NVM-Express-Base- Specification-2.0c-2022
  • A Remote Direct Memory Access Protocol Specificati on(rfc5040)
  • SCSl Commands Reference Manual
  • Serial ATA International Organization
  • Supplement to InfiniBand Architecture Specification
  • XFS FileSystem Structure
  • BTRFS: The Linux B-Tree FileSystem

对标岗位

  • 存储开发工程师
  • 分布式存储工程师
  • 云存储开发工程师
  • KV存储技术专家
  • SPDK开发工程师
  • 存储引擎研发工程师

这篇关于自下而上-存储全栈(TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4)存储技术专家成长路线的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/470823

相关文章

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎,每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性,有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点: 事务支持:InnoDB 是一个支持 ACID(原子性、一致性、隔离性、持久性)事务的存储引擎。行级锁:使用行级锁来提高并发性,减少锁竞争

【H2O2|全栈】关于HTML(4)HTML基础(三)

HTML相关知识 目录 HTML相关知识 前言 准备工作 标签的具体分类(三) 本文中的标签在什么位置中使用? 列表 ​编辑​编辑 有序列表  无序列表 自定义列表 表格 拓展案例 预告和回顾 后话 前言 本系列博客将分享HTML相关知识点。 这一期博客,我们来讲解列表和表格相关的标签。 本来想写表单的,但是博客内容比较多,我不想让博客太长了,所以放到

ORACLE语法-包(package)、存储过程(procedure)、游标(cursor)以及java对Result结果集的处理

陈科肇 示例: 包规范 CREATE OR REPLACE PACKAGE PACK_WMS_YX IS-- Author : CKZ-- Created : 2015/8/28 9:52:29-- Purpose : 同步数据-- Public type declarations,游标 退休订单TYPE retCursor IS REF CURSOR;-- RETURN vi_co_co

【H2O2|全栈】关于HTML(5)HTML基础(四)

HTML基础知识 目录 HTML基础知识 前言 准备工作 标签的具体分类(四) 本文中的标签在什么位置中使用? 表单(一) 表单标签 输入域标签 预告和回顾 后话 前言 本系列博客将分享HTML相关知识点。 这一期博客,我们来讲解表单相关的标签。 注意,本期表单中的大部分属性仅限于HTML4,如果想要了解更多关于HTML5中常用的表单功能,可以期待未来的HTM

OpenStack离线Train版安装系列—11.5实例使用-Cinder存储服务组件

本系列文章包含从OpenStack离线源制作到完成OpenStack安装的全部过程。 在本系列教程中使用的OpenStack的安装版本为第20个版本Train(简称T版本),2020年5月13日,OpenStack社区发布了第21个版本Ussuri(简称U版本)。 OpenStack部署系列文章 OpenStack Victoria版 安装部署系列教程 OpenStack Ussuri版

多云架构下大模型训练的存储稳定性探索

一、多云架构与大模型训练的融合 (一)多云架构的优势与挑战 多云架构为大模型训练带来了诸多优势。首先,资源灵活性显著提高,不同的云平台可以提供不同类型的计算资源和存储服务,满足大模型训练在不同阶段的需求。例如,某些云平台可能在 GPU 计算资源上具有优势,而另一些则在存储成本或性能上表现出色,企业可以根据实际情况进行选择和组合。其次,扩展性得以增强,当大模型的规模不断扩大时,单一云平

MySQL技术内幕_innodb存储引擎

MySQL技术内幕_innodb存储引擎 INNODB innodb中如果表没有主键 表是否由 非空唯一键,有则该字段为主键没有,则自动创建一个6字节大小的指针 innodb存储引擎的所有数据都存储在表空间中,表空间由段,区,页(块)组成。 如果启用了 innodb_file_per_table, 则每张表内的数据可以单独放在一个表空间中即使启用了上面参数,共享表空间也会因为 系统事务信息

LabVIEW程序员是怎样成长为大佬

成为一名LabVIEW编程领域的“大佬”需要时间、实践、学习和解决复杂问题的经验。尽管LabVIEW作为一种图形化编程语言在初期可能相对容易上手,但要真正成为精通者,需要在多个层面上深入理解。以下是LabVIEW程序员如何逐步成长为“大佬”的路径: 1. 打好基础 LabVIEW的大佬们通常在初期会打下非常坚实的基础,理解LabVIEW编程的核心概念,包括: 数据流编程模型:Lab