存储 IO 性能优化策略、方案与瓶颈分析

2024-08-31 12:04

本文主要是介绍存储 IO 性能优化策略、方案与瓶颈分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

33fa78a49aa0b164dca8c2d7cc27153f.jpeg

存储 IO 性能优化策略、方案与瓶颈分析(15张图)

   

存储IO性能优化是难题,因为它通常涉及全局性问题,需要从应用、数据库、主机、网络和存储设备全IO链路栈各层考虑可能出现的性能问题或瓶颈。

一、不同应用数据的 IO 模型特点

下表概述了各种应用场景的IO大小、读写比例、随机和顺序比例,这些数据作为通用参考值。需要注意的是,该表并未涵盖所有应用类型,且在不同生产环境中,数值可能存在较大差异。因此,表1中的数据仅作为一个通用参考。

表1 应用数据的IO模型

31f9fdd888462248f2f29445d5656a79.jpeg

二、存储 IO 性能指标和计算公式

1. 三大存储IO性能指标:

在三大性能指标中,针对大IO应用的吞吐量评估更科学;而对于小IO应用如数据库,需通过IOPS和延时指标评测性能。只有高IOPS与低延时兼得,才能应对高并发且快速的数据库访问需求,如表2所示。

表2 三大存储IO性能指标

1600dcf7d80318b29d76dfb26c68a81a.jpegdf4e2fa1a63151a617e51341035093d9.jpeg

2. 其它重要的存储性能指标(表3):

表3 其它重要的存储性能指标

6cf9620ad6e33f7c757c19e331d0b053.jpeg

3. 各IO性能指标的计算和相互转换公式

IOPS、IO size、带宽和QueueDepth之间的计算转换公式如图1所示。请参考该图以获取详细信息。

20d76046bb899ab07a13a7f019041add.jpeg

图1 IOPS、IO size、带宽、QueueDepth之间的计算转换公式

4. 各性能指标在vdbench基准测试工具中的体现(如图2)

1f13fa7c31bf7535c606f9f0386d744a.jpeg

图2 各性能指标在vdbench基准测试工具中的体现

三、存储 IO 性能优化

1. 优化策略

存储IO性能优化工作需要一定的策略性(如表4):

表4 存储IO性能优化策略

2802657126cf1a14fe49ea30b235f654.jpeg9ed5cf49433eb387a51c52057bb95a84.jpeg

2. 优化方案

存储设备层优化方案(如图3):

5c60c8e13fa6544e9592cc5d923fb55d.jpeg

b93e51841e3e6d099512faf53cbb1ec5.jpeg

图3 存储设备层优化方案

网络层优化方案(图4):

dd55400c9037203abebebfb35165f53a.jpeg

图4 网络层优化方案

存储传输协议方案选择(如图5):

9e3cf042bfc0cbbc6298f2bf60659f8e.jpeg

图5 存储传输协议方案选择

主机层优化方案(如图6):

d51f7094f76e60b8583aa8e96424a08a.jpeg

图6 主机层优化方案

应用层优化方案(如图7):

9ac32033723d07638416b907867e7b6b.jpeg

图7 应用层优化方案

3. 传统关系型数据库的IO性能的瓶颈点分析(如图8)

51691a326d2f8728b4eb6935d752b95d.jpeg

图8 Oracle 数据文件和日志文件读写过程

如表5所示,OLTP系统中单进程LGWR可能成为瓶颈,特别是在无法保证在线日志IO写性能时,容易出现排队等LGWR进程现象。这也是传统关系型数据库相对脆弱之处,容易引发问题。

表5 关系型数据库data和log数据IO读写模型

44cee22a0c26e46dcb3147619a3d704c.jpeg

OLTP数据库存储性能优化思路(如图9):

018344688077bae555a5f7f9eed5574d.jpeg

图9 OLTP数据库存储性能优化思路

4. IO并发队列的考虑

队列深度(Queue-Depths)是衡量主机端单个LUN能同时处理的I/O操作数量的标准。以QD=32为例,这意味着在同一时刻,该LUN可以执行32个并行IO操作。

在SCSI命令层面,每个从发送端(initiator)主机HBA卡端口到接收端(target)存储HBA卡端口的IO请求都会占用一个队列条目。

通常来说,较高的队列深度意味着更好的性能。然而,当存储控制器/节点达到最大队列深度并耗尽资源时,它将拒绝新的传入命令,并通过返回QFULL回应主机,从而导致性能下降。因此,在大量主机访问存储控制器时,务必谨慎规划以避免QFULL条件导致系统性能显著降低甚至出现错误。

有关队列深度(Queue-Depths)计算的深入分析(表6):

表6 队列深度计算的深入分析

4f4a63888d7125a0f50f2ea8c3411839.jpeg

有关队列深度(Queue-Depths)注意事项:

队列深度是一种并发交易模拟机制,它在流水线上的每个不同环节设置缓冲空间,使正常流水线数据传送从紧耦合变成了松耦合。简单来讲,Queue-Depths 传送机制的系统中,整个系统的吞吐量和延迟由性能最差的那个部位决定。

队列深度是一种并发交易模拟机制,它通过在流水线上的每个不同环节设置缓冲空间,使得正常流水线数据传送从紧耦合变成了松耦合。使用Queue-Depths 传送机制的系统中,整个系统的吞吐量和延迟由性能最差的那个部位决定。

-对此,您有什么看法见解?-

-欢迎在评论区留言探讨和分享。-

这篇关于存储 IO 性能优化策略、方案与瓶颈分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123853

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题:墙体两侧特征混淆误匹配,导致建图和定位偏差,表现为过门跳变、外月台走歪等 ·解决思路:预期的根治方案IGICP需要较长时间完成上线,先使用切分地图的工程化方案,即墙体两侧切分为不同地图,在某一侧只使用该侧地图进行定位 方案思路 切分原理:切分地图基于关键帧位置,而非点云。 理论基础:光照是直线的,一帧点云必定只能照射到墙的一侧,无法同时照到两侧实践考虑:关

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式(Singleton Pattern) 确保一个类只有一个实例,并提供一个全局访问点。 示例代码: class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影