磁带存储:“不老的传说”依然在继续

2024-05-29 23:36

本文主要是介绍磁带存储:“不老的传说”依然在继续,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

现在是一个数据指数增长的时代,根据IDC数据预测,2025年全世界将产生175ZB的数据。

图片

这里面大部分数据是不需要存储的,在2025预计每年需要存储11ZB的数据。换算个容易理解的说法,1ZB是10^18Bytes, 相当于要写5556万块容量18TB的硬盘。

图片

这些存储的数据中,仅10%认为是Hot频繁访问的数据,90%的数据都将是Warm/Cold温冷数据, 也就是不经常访问的数据。举个简单的例子,我们目前每人至少1部智能手机,里面存储大量的照片、视频、聊天记录等个人隐私数据,这些数据自产生后,我们开始可能会经常访问,在3个月以后,你还会对着数据有访问的诉求吗?这个概率基本会下降到1%以下。

图片

从概率统计学来讲,超过3个月(90天)不再访问的数据,我们都可以称为冷数据,归档数据。每年全世界有25-35%的新增归档冷数据需要存储。这个市场的需求是非常的庞大。

图片

目前归档冷数据的最终归属大多数是基于HDD,SMR,磁带Tape等介质的冷存储系统。冷存储系统的最大的优点就是成本低和数据保留时间长,但是也带来相应的缺点就是冷归档数据读取过程需要“解冻”,数据访问响应时间拉长。

图片

从上图存储介质的出货量和类型数据,我们也可以看到,在2025年,机械硬盘包括SMR新型机械盘存储介质的占比仍然有50%。从20世纪30年代开始算的话,磁带技术也算是一位接近期颐百岁老人了,磁带技术虽然古老,但凭借独特的魅力依然挑起了世界数据存储的重担。

图片

根据最新的年度LTO(Linear Tape-Open,线性磁带开放标准)项目介质出货量报告,2023年磁带存储的出货容量达到了惊人的152.9EB(压缩后),相比2022年增长了3.14%,这一增长部分归因于“数据生成的快速增长以及超大规模运算和企业对基础设施需求的提升”,特别是人工智能领域的存储需求激增。

图片

LTO技术背后的三大合作伙伴——HPE、IBM和Quantum联合发布的这份报告揭示了磁带存储生命力顽强的一面。在过去的十二年里,尽管固态硬盘(SSD)和传统硬盘驱动器(HDD)等新存储技术不断涌现并逐渐成为主流,磁带存储非但没有消亡,反而在特定领域持续发挥其独特优势。

磁带存储之所以能保持一席之地,原因有三:

  1. 巨大容量与离线便捷:磁带提供了庞大的存储空间,并且易于脱机保存,这对于长期存档和不频繁访问的数据而言非常合适。

  2. 耐用性和长期安全性:磁带介质被证实可以安全地保存数据长达30年,对于长期数据保护和避免如勒索软件攻击的风险尤为重要。

  3. 成本效益与环境友好:在成本方面,尤其是对于备份和档案存储,磁带经常比硬盘更经济,同时其环境影响也小于HDD和SSD,符合绿色存储的趋势。

然而,磁带存储的主要局限在于数据访问速度慢,恢复过程可能较为耗时,这使得它更适合用于冷数据存储,即那些不经常访问的信息。

扩展阅读:

  • 告别emo|HDD&磁带:我的春天来了

  • LTO助推磁带大容量存储技术超越磁盘HDD

  • 为LTO磁带而生的文件系统LTFS|主线任务—夺回"秋雅"

  • LTO磁带 PK 磁盘HDD:谁会让数据中心变"绿"?

  • 大容量疯了!居然想把磁带放到硬盘,100TB+是否可以实现?

对比硬盘的出货容量,磁带虽然在总量上显示出增长,但两者在市场定位和应用场景上存在显著差异。例如,仅希捷一家硬盘制造商在2024年第三季度就出货了99EB的硬盘,显示出硬盘在活跃数据存储市场的主导地位。因此,磁带和硬盘各有千秋,分别服务于不同的存储需求和场景,共同支撑起现代数据存储的广阔天地。磁带的“不死传说”证明了,在技术快速迭代的今天,每一种存储解决方案都有其不可替代的价值和存在的理由。

扩展阅读:

  • 深度剖析:大容量QLC SSD为何遭疯抢?

  • SSD与HDD仍然共存,并将长期共存!

此前,Spectra Logic 和 Geyser Data 联手推出了一项名为 TAPAS(Tape Archive Platform As-a-Service)的创新服务,标志着业界首次将磁带存储以服务的形式提供给用户。这项基于订阅的服务允许即时配置、按需扩展,并且使用过程中无需专业的知识或技能,为用户提供了简便、经济的磁带存储解决方案。

图片

TAPAS 服务的核心特点:

  1. 即时且可扩展:TAPAS 提供的磁带存储基于订阅模式,用户可以根据需求即时获取服务并进行扩展,无需前期大量投入或专业知识。

  2. 成本效益:与典型的云冷存储服务相比,TAPAS 承诺提供更经济的解决方案,通过结合 Spectra Logic 的成熟磁带技术与 Geyser Data 的现代化服务交付模型,降低了长期存储成本。相比 AWS S3 归档,TAPAS 数据检索更快且无访问或提取费用,甚至可选服务将磁带快递至用户。

  3. 高性能与安全性:结合 Spectra Logic 的 Cube 图书馆系统、LTO-9 磁带媒体以及 BlackPearl S3 对象存储,TAPAS 提供了一个与 AWS S3 和 Glacier 兼容的系统,确保数据安全且易于访问。

  4. 灵活的数据管理:Geyser Data 的 TaaS 软件负责服务的配置、管理、监控、计费和实例化,简化了用户端的操作流程。

  5. 数据控制与隔离:Geyser Data 保证每个磁带只存储一个客户的资料,并允许客户掌控加密密钥,增强数据安全性和隔离性,减少网络威胁风险。

  6. 环保与合规:利用磁带存储的环保特性,TAPAS 同时解决了数据驻留、本地化或主权问题,让用户能够指定数据的实际地理位置。

还有富士Fujifilm,作为磁带存储介质的生产商和倡导者,最近推出了面向档案存储的Kangaroo融合系统,并即将发布一款针对中小企业的“Lite”版本

图片

Kangaroo系统简介:

  • 原始版本:包含120盘LTO磁带,采用带有轮子的箱体设计,配备集成鼠标和屏幕、不间断电源(UPS)及公司的对象存档软件。该单元可存储高达1PB的数据,标价最高达€350,000(约$375,000)。

  • Lite版本:为中小企业提供存储容量上限为100TB的解决方案,价格低于€100,000(约$107,000),旨在降低准入门槛,使更多企业能够利用磁带存储技术。

富士欧洲执行副总裁Peter Struik在罗马举办的IT Press Tour上透露,轻量级的Kangaroo Lite预计将于当年7月或8月面市。他提到,欧洲的一些大型机构已经测试并采用了标准版Kangaroo系统,包括卢森堡银行、一家健康机构和荷兰的一所大学。此外,还有两台设备正在运往英国,用于商业市场的试用推广。

相比硬盘存储,磁带存储能减少95%的碳排放。考虑到硬盘通常需要持续供电以保持数据随时可访问,而Kangaroo系统设计主要为离线使用,这一环保优势更为显著。公司还指出,企业数据中有70%属于“冷数据”,并不立即用于业务运营,但仅有5%的冷数据被存储在如磁带这类成本效益更高的系统上,表明磁带存储在节能减碳方面具有巨大潜力。

参考文献

1.https://www.tomshardware.com/pc-components/storage/tape-shipments-increased-to-1529-exabytes-in-2023-pretty-lively-for-a-dead-storage-medium

2.https://blocksandfiles.com/2024/05/15/spectra-logic-geyser-tape-as-a-service/

3.https://blocksandfiles.com/2024/04/12/fujifilm-kangaroo-lite/


如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!

精彩推荐:

  • 浅析3D NAND多层架构的可靠性问题

  • SSD模拟器MQSim简介与资料分享

  • 孙凝晖院士万字长文|人工智能与智能计算的发展

  • 探究NVMe SSD HMB应用场景与影响

  • 深度剖析:大容量QLC SSD为何遭疯抢?

  • SSD突然掉电,是谁保护了用户数据?

  • 漫谈HAMR硬盘的可靠性

  • 万物皆可计算|下一个风口:近内存计算

  • SSD数据错误如何修复?

  • CXL与PCIe世界的尽头|你相信光吗?

  • 全景剖析SSD SLC Cache缓存设计原理

  • 存储革新:下一代低功耗PCM相变存储器

  • 3D DRAM虽困难重重,最快明年到来

  • 字节跳动入局存储内存SCM

  • PCIe 7.0|不要太卷,劝你先躺平

  • SSD LDPC软错误探测方案解读

  • 关于SSD LDPC纠错能力的基础探究

  • 存储系统如何规避数据静默错误?

  • PCIe P2P DMA全景解读

  • 深度解读NVMe计算存储协议

  • 对于超低延迟SSD,IO调度器已经过时了吗?

  • 浅析CXL P2P DMA加速数据传输的原理

  • HDD回暖于2024,与SSD决战于2028

  • FIO测试参数与linux内核IO栈的关联分析

  • NVMe over CXL技术如何加速Host与SSD数据传输?

  • 浅析LDPC软解码对SSD延迟的影响

  • 为什么QLC NAND才是ZNS SSD最大的赢家?

  • SSD在AI发展中的关键作用:从高速缓存到数据湖

  • 浅析不同NAND架构的差异与影响

  • SSD基础架构与NAND IO并发问题探讨

  • 字节跳动ZNS SSD应用案例解析

  • CXL崛起:2024启航,2025年开启新时代

  • NVMe SSD:ZNS与FDP对决,你选谁?

  • 浅析PCI配置空间

  • 浅析PCIe系统性能

  • 存储随笔《NVMe专题》大合集及PDF版正式发布!

如果您也想针对存储行业分享自己的想法和经验,诚挚欢迎您的大作。
投稿邮箱:Memory_logger@163.com (投稿就有惊喜哦~)

《存储随笔》自媒体矩阵

图片

这篇关于磁带存储:“不老的传说”依然在继续的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1014954

相关文章

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎,每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性,有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点: 事务支持:InnoDB 是一个支持 ACID(原子性、一致性、隔离性、持久性)事务的存储引擎。行级锁:使用行级锁来提高并发性,减少锁竞争

ORACLE语法-包(package)、存储过程(procedure)、游标(cursor)以及java对Result结果集的处理

陈科肇 示例: 包规范 CREATE OR REPLACE PACKAGE PACK_WMS_YX IS-- Author : CKZ-- Created : 2015/8/28 9:52:29-- Purpose : 同步数据-- Public type declarations,游标 退休订单TYPE retCursor IS REF CURSOR;-- RETURN vi_co_co

OpenStack离线Train版安装系列—11.5实例使用-Cinder存储服务组件

本系列文章包含从OpenStack离线源制作到完成OpenStack安装的全部过程。 在本系列教程中使用的OpenStack的安装版本为第20个版本Train(简称T版本),2020年5月13日,OpenStack社区发布了第21个版本Ussuri(简称U版本)。 OpenStack部署系列文章 OpenStack Victoria版 安装部署系列教程 OpenStack Ussuri版

多云架构下大模型训练的存储稳定性探索

一、多云架构与大模型训练的融合 (一)多云架构的优势与挑战 多云架构为大模型训练带来了诸多优势。首先,资源灵活性显著提高,不同的云平台可以提供不同类型的计算资源和存储服务,满足大模型训练在不同阶段的需求。例如,某些云平台可能在 GPU 计算资源上具有优势,而另一些则在存储成本或性能上表现出色,企业可以根据实际情况进行选择和组合。其次,扩展性得以增强,当大模型的规模不断扩大时,单一云平

MySQL技术内幕_innodb存储引擎

MySQL技术内幕_innodb存储引擎 INNODB innodb中如果表没有主键 表是否由 非空唯一键,有则该字段为主键没有,则自动创建一个6字节大小的指针 innodb存储引擎的所有数据都存储在表空间中,表空间由段,区,页(块)组成。 如果启用了 innodb_file_per_table, 则每张表内的数据可以单独放在一个表空间中即使启用了上面参数,共享表空间也会因为 系统事务信息

单精度浮点数按存储格式转为整数的程序

///#include<cstdio>//-----------------union int_char{unsigned char ch[4];float i;};void out_put(union int_char x)//x86是小端对其模式,即最数据的最低位存储在地址的最低位上。{printf("单精度浮点数值为:%f\n",x.i,x.i);printf("存储位置从左到右

Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(4)

本文仅作笔记学习和分享,不用做任何商业用途 本文包括但不限于unity官方手册,unity唐老狮等教程知识,如有不足还请斧正​​ Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(3)-CSDN博客  这节就是真正的存储数据了   理清一下思路: 1.存储路径并检查 //2进制文件类存储private static string Data_Binary_Pa

C语言-数据结构 克鲁斯卡尔算法(Kruskal)邻接矩阵存储

相比普里姆算法来说,克鲁斯卡尔的想法是从边出发,不管是理解上还是实现上都更简单,实现思路:我们先把找到所有边存到一个边集数组里面,并进行升序排序,然后依次从里面取出每一条边,如果不存在回路,就说明可以取,否则就跳过去看下一条边。其中看是否是回路这个操作利用到了并查集,就是判断新加入的这条边的两个顶点是否在同一个集合中,如果在就说明产生回路,如果没在同一个集合那么说明没有回路可以加入