What?数据存储的未来属于磁带!

2023-10-18 23:50

本文主要是介绍What?数据存储的未来属于磁带!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

640?wx_fmt=jpeg

虽然已经很少能在黑白电影之外看到磁带的身影了,但这一古老的数据存储方式或许才是数据存储的未来。

你可能会发出疑问:真的吗?磁带?

640?wx_fmt=jpeg

1951年,首次被用来存储数据的磁带。

这个想法可能会让你想起一些在老电影中的镜头:在一个巨大的主机旁边,卷轮在断断续续地旋转,像是《电脑风云(Desk Set)》或《奇爱博士(Dr. Strangelove)》。

然而真相是:磁带,从未消失!

640?wx_fmt=jpeg

1957年上映的电影:电脑风云(Desk set)讲述了工程师与电脑的恋爱, 看完文章有没有像小编一样很像去看着这部电影?

640?wx_fmt=jpeg

1958年电影《奇爱博士(Dr. Strangelove)图片来自维基百科》

实际上,世界上大部分数据仍然保留在磁带上,包括基础科学数据,如粒子物理和射电天文学,人类遗产和国家档案,重要电影,银行,保险,石油勘探等行业。甚至还有一群人(包括我,在材料科学,工程或物理方面接受过培训),而这些人的工作就是不断改进磁带存储的性能。

磁带的确已经存在很长一段时间了,但即使是这样,这项技术也没有被时间冻结而停止发展。恰恰相反,像硬盘和晶体管一样,磁带在过去几十年中取得了巨大进步。

第一个IBM的商用数字磁带存储系统Model 726可以在一卷磁带上存储大约1.1兆字节。

640?wx_fmt=jpeg

1972年,IBM首个商用数据存储磁带

时至今日,现代磁带盒可容纳15TB。一个机器人磁带库最多可包含278PB的数据。存储这样的数据量将耗费超过3.97亿个光盘,如果把这些磁盘堆叠则将形成超过476公里的高塔。

磁盘驱动器正在达到极限(明显后劲不足了),但磁带的性能变得越来越强。

大数据分析和人工智能的快速发展为企业提供了强大的激励机制,企业可以利用这些技术来分析其业务方方面面的信息。现在,财务法规要求公司和机构必须保留记录的时间比过去更长。所以各种各样的公司和机构存储的数据都变得越来越冗杂。

研究显示,记录的数据量每年增加30%至40%。但与此同时,广泛用来存储数据的现代硬盘的容量增长率还达不到这一速度的一半。不过幸运的是,大部分信息不需要立即访问。对于这种情况,使用磁带存储数据是完美的解决方案。

确实,磁带不能提供硬盘或半导体存储器的快速访问速度。不过,磁带的优势也有很多。

首先,磁带存储更节能:一旦记录了所有数据,磁带盒就会安静地放在磁带库的插槽中,根本不消耗任何电量;

然后,磁带也非常可靠,错误率比硬盘低四到五个数量级;

最后,磁带非常安全,具有内置的动态加密和介质本身提供的额外安全保障。毕竟,如果磁带未安装在驱动器中,则无法访问或修改数据。鉴于通过网络攻击导致的数据窃取率不断增长,这种“气隙”(暗指磁带优势)具有强大的吸引力。

磁带的离线特性还为有缺陷的软件提供了额外的防线。

例如,在2011年,软件更新中的一个缺陷导致Google意外删除了大约40,000个Gmail帐户中保存的电子邮件。尽管在多个数据中心的硬盘驱动器上存储了多个数据副本,但这样的损失依然发生了。幸运的是,数据同时记录在了磁带上,谷歌最终可以从该磁带备份中恢复所有丢失的数据。

2011年的Gmail事件是云服务提供商使用磁带进行操作的首次公开信息之一。最近,微软也公开了它的Azure归档存储使用IBM磁带存储设备的信息。

尽管如此,公司使用磁带的主要原因通常是因为磁带比较廉价。

磁带存储的成本是磁盘上存储相同数据量所需支付的六分之一,这就是为什么你几乎可以在任何存储大量数据的地方找到磁带系统的原因。但由于磁带现在完全从消费级产品中消失,大多数人都不知道它的存在,更不用说磁带录制技术近年来取得的巨大进步,并将在可预见的未来继续发展。

磁带存在这么久的根本原因在于:它很便宜,而且它一直在变得越来越便宜。

但这是未来的趋势吗?

您可能会认为,如果将更多数据塞入磁盘的能力正在减少,那么对于使用相同存储技术但更老的磁带来说存储能力也应该下降。然而令人惊讶的是,对于磁带而言,这种容量的扩大并没有显示出放缓的迹象。事实上,它应该会以每年约33%的历史速度持续多年,这意味着你可以预期大约每两到三年就会增加一倍的容量。所以可以把它想象成磁带的摩尔定律(类似电脑发展定律)。

对于那些必须应对数据存储预算爆炸性增长的人来说这是个好消息。要了解磁带仍然具有相对于硬盘驱动器的潜力,就要考虑磁带和硬盘驱动器的发展方式。

两者都依赖于相同的基本物理机制来存储数据。它们以磁性材料薄膜中的窄轨道为存储介质,其中磁性在两种极性状态之间切换。该信息被编码为一系列比特,由沿轨道的特定点处的磁极的存在或不存在来表示。自20世纪50年代引入磁带和硬盘驱动器以来,两者的制造商一直受到“更密集,更快,更便宜”的口头禅的驱使。结果,以每千兆字节容量计算的两者的成本已经下降了多个数量级。

这些成本的降低是磁基板每平方毫米上可记录的信息密度呈指数增长的结果,面密度是沿数据轨道的密度和垂直方向上这些轨道的密度的乘积。

早期,磁带和硬盘驱动器的面密度相似。但由于的市场规模和硬盘销售收入的增加,为更大规模的研发工作提供了资金,这使得他们的制造商能够更积极地扩大存储密度。因此,大容量硬盘驱动器的当前面密度约为最新磁带驱动器的100倍。

然而,由于磁带有更大的表面积可用于记录,最先进的磁带系统提供了高达15 tb的本机容量——比市场上最高容量的硬盘驱动器都要大。这是真的,尽管两种设备占用的空间都差不多。

640?wx_fmt=jpeg

Victor PradoInside 现代线性磁带开放式(LTO)磁带盒由单个卷轴组成。插入盒式磁带后,磁带自动送入驱动机构内置的卷轴。

除容量外,磁带和硬盘驱动器在性能指标上也有很大差异。盒式磁带中的长带 - 通常为数百米 – 对应的平均数据访问时间为50到60秒,而硬盘驱动器的平均数据访问时间仅为5到10毫秒。

但让人吃惊的是,就数据写入的速度来看,写入磁带的速率是写入磁盘速度的两倍多。

在过去几年中,硬盘上数据面积密度的平均增长速度已从平均每年约40%放缓至10%至15%。之所以有这样的情况,与一些物理原理分不开:要想在给定区域中记录更多数据,就需要为每个比特分配一个较小的区域。但这样反过来会减少读取时获得的信号。如果你减少的信号太多,它就会消失在噪音中,噪音来自于覆盖在磁盘上的磁性颗粒的颗粒性质。

通过减少这些颗粒可以减少背景噪音。但是很难做到将磁性颗粒缩小到一定的尺寸又不损害它们以稳定的方式保持磁性状态的能力。“超顺磁极限”是记录磁性颗粒保有其性能要求条件下最小的尺寸。目前,磁盘制造商所制造的产品已经达到了这个水平。

对消费者来说,磁盘容量增长速度的放缓并不明显,因为制造商可以通过为每个单元添加更多的磁头和磁盘来弥补增长速度的不足。但是现在,无论是可用空间,还是增加磁头和磁碟的成本,都限制了驱动制造商所能获得的收益。增长放缓这一情况已经开始变得越来越明显。

包括热辅助磁记录(HAMR)和微波辅助磁记录(MAMR)等正在开发的技术可以使硬盘驱动器的扩展超出当今的超顺磁极限。这些技术能够使用更小的颗粒,从而允许磁盘的更小区域被磁化。但同样的,使用这些技术方法会使成本增加,并且也会带来棘手的工程挑战。

即使他们成功了,根据制造商的说法,他们提供的规模可能仍然有限。例如,西部数据公司(Western Digital Corp.)最近宣布它将在2019年开始出货MAMR硬盘,预计该技术将使面密度每年仅增加约15%(仍低于之前的年平均40%的增长率)。

相比之下,磁带存储设备目前的区域密度远低于超顺磁极限。因此,磁带的摩尔定律可以持续十年或更长时间,而不会遇到基础物理学方面的障碍。

磁带是仍然一种棘手的技术。它的可拆卸性,使用薄的聚合物基板而不是刚性盘,并行同时记录多达32个轨道,为设计人员带来了重大障碍。这就是为什么我在IBM Research-Zurich实验室的研究团队一直在努力寻找能够通过调整硬盘技术或发明全新方法来实现磁带持续扩展方法的重要原因。

2015年,我们和FujiFilm公司的合作伙伴表示,通过使用垂直于胶带的定向超小型钡铁氧体颗粒,可以将数据记录为当今商业技术可达到的密度的12倍以上。最近,在与索尼存储媒体解决方案部门的合作中,我们展示了以面密度记录数据的可能性,该密度是目前最先进磁带驱动器数值的20倍。举例来说,如果这项技术成功商业化,那么现在需要十几个磁带盒来存档大预算功能的数字组件的电影工作室将能够将所有这些东西整合到一个磁带之中。

640?wx_fmt=jpeg

全球首个自动化数据存储资料库(IBM)

为了实现这种程度的扩展,我们必须在技术上实现一系列的进步。首先,我们提高了读写磁头跟随磁带上的细长磁道的能力,在我们最新的演示中,磁道只有100纳米左右。

我们还必须减小数据读取器的宽度,用于回读记录的数据轨道的磁阻传感器 - 从其当前的微米级尺寸到小于50nm。但结果是我们用这么小的读卡器获取的信号非常嘈杂。所以我们通过增加介质固有的信噪比来补偿,这是磁性颗粒的尺寸和取向、它们的组成、磁带表面的光滑度和光滑度的函数共同决定的功能。为了进一步提升效果,我们改进了设备所采用的信号处理和纠错方案。

为确保我们的新原型介质能够长久地保留记录数据,我们改变了记录层中磁性颗粒的性质,使其更加稳定。但是这种改变使得首次记录数据变得更加困难,以至于普通的磁带传感器无法可靠地向新媒体写入数据。因此,我们使用了一种特殊的磁头,写入时可以产生比传统磁头强得多的磁场。

640?wx_fmt=jpeg

结合这些技术,我们能够在我们的实验室系统中以每英寸818,000位的线性密度读取和写入数据。(由于历史原因,世界各地的磁带工程师以英寸为单位测量数据密度)结合新技术可以处理的每英寸246,200磁道,我们的原型单元的面密度达到了每平方英寸201千兆位。

假设一个盒式磁带可以容纳1,140米的胶带 -考虑到我们使用的新磁带介质的厚度将减小, 这是一个合理的假设- 这种面密度对应于高达330 TB的墨盒容量。这意味着单个磁带盒可以记录与装满硬盘的手推车一样多的数据。

2015年,包括惠普集团、IBM、甲骨文和Quantum在内的信息存储产业联盟以及一系列学术研究团体发布了“国际磁带存储路线图”。该预测称到2025年,磁带存储的面密度将达到每平方英寸91 Gb。按照此趋势推断,到2028年面密度将超过每平方英寸200 Gb。

该路线图的作者们对磁带存储未来的乐观态度是值得相信的,按照我和我的同事最近进行的实验室实验,每平方英寸200 Gb是完全可能的。因此,在我看来,使磁带在当前速率上增长至少十年是完全可能的。

实际上,磁带可能是遵循摩尔定律规模扩展的最后几种信息技术之一。这种持续发展会增加磁带相对于硬盘驱动器和其他存储技术的成本优势。

因此,虽然可能你很少在黑白电影之外看到磁带的身影,但磁带也会在未来几年出现在我们的生活之中。

相关报道:

https://spectrum.ieee.org/computing/hardware/why-the-future-of-data-storage-is-still-magnetic-tape

640?

1.IEEE对华为说不,然后。。。

2.别人聊FPGA,咱们来说说FPGA+!

3.错过现场“μC/OS-III高阶培训”的朋友不用遗憾,网课来啦!

4.华为突遭 Google 釜底抽薪,国产自研操作系统生态恐不可承其重!

5.ARM到底是一家什么样的公司?

6.手机46岁了,史上最全手机简史,简到崩溃!

640?wx_fmt=gif

免责声明:本文系网络转载,版权归原作者所有。如涉及作品版权问题,请与我们联系,我们将根据您提供的版权证明材料确认版权并支付稿酬或者删除内容。


这篇关于What?数据存储的未来属于磁带!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/235919

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X