把100PB数据迁移到阿里云,需要几步?

2024-02-16 16:38

本文主要是介绍把100PB数据迁移到阿里云,需要几步?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

把大象关进冰箱,需要几步?三步。

第一步,打开冰箱门

第二步,把大象放进冰箱

第三步,关上冰箱门

把100PB 115科技的数据迁移到阿里云,需要几步?同样是三步。

第一步,把数据拷入闪电立方

第二步,把闪电立方运送到阿里数据中心

第三步,把数据从闪电立方拷出来,齐活!

说起来很轻松

可是,您知道100PB的数据到底有多大吗?

看看下面这张图,您就明白了。



迁移100PB数据!这场互联网史上最大规模的公共云迁移,仅仅用45天就圆满完成,不得不说几乎是一个奇迹。

但看似简单的背后,往往蕴含着极度的复杂。

这次115科技的数据迁移同样如此。

 100PB海量数据迁移,整体服务不停机,客户无感知。

稍微想想,你就会明白要同时满足这三个条件到底有多难。

为了保障这次115科技业务的平滑迁移,阿里云将分布在不同地区的数千台物理机内的数据与云上的位置进行了一一对应的规划,保证每一比特都有迹可循。同时,阿里云采用了专线互连的传输方式,建立边界路由器和路由器接口来连接115的数据中心与阿里云VPC,采用400Gb/s的分布式在线数据传输服务OSSImport,将115的数据加密迁移到对象存储OSS中,并对每个文件做端到端的SHA-1校验,避免出现数据不可用或者不一致的情况。

为了提升传输效率,阿里云存储研发团队在10天内设计了11个功能,包括SHA-1校验边算边传、WORM(一写多读禁止覆盖))、HEIF与矢量图片转换支持等特性,用于承载115科技的非结构化数据如文档、图片、视频的业务。

但最大的挑战,实际上来自于海量数据迁移。将100PB数据迁移从115科技数据中心传送至阿里云数据中心,如果用普通办公网络上传,要2700多年才能传完。即使采用较快的百兆网络传输,也至少需要300多年。所以,必须采用其他的方法,才能完成这看似无法完成的任务。

阿里云想到了一个绝妙的点子,他们发明了一种全新的离线数据迁移方案——闪电立方。闪电立方像极了一台电脑主机(居然还有音频接口),可防尘防水,抗震抗压。每套闪电立方可存储480TB数据,这样只要合理安排好数据转移和搬运的周期,再加上部分网络状况好的数据中心可以实行在线迁移,就可以在较短的时间里完成迁移100PB数据的壮举。

从实际的时间成本来看,这种离线的物理迁移看似原始其实却非常高效,115科技的上云时间从预计的4个月大幅缩短到了45天。

不过,大家都知道,仅仅迁移数据,并不是完整的云迁移,只有把业务系统同时进行迁移,才能称得上是云迁移,同时,我们也知道,数据分为冷数据和热数据,对于冷数据来说,使用闪电立方离线搬运,并不存在任何问题,不过对于业务系统以及与业务相关联的热数据,如何利用闪电立方来迁移这些业务系统和数据,又同时保证服务服务不停机、客户无感知、数据一致的问题呢?阿里云存储资深技术总监陈弘介绍说,这就需要先在阿里云搭建一套同样的业务系统,然后对业务相关联的热数据进行类似于双活热备的数据迁移,最后再把变化的增量与通过闪电立方运送到阿里云数据中心的数据进行同步,才能最终完成整个迁移过程。

而在整个迁移的过程中,需要前期做到详细咨询、精心规划,中期做到按部就班、大胆心细,后期做到认真交接、严格验收。当然,也需要闪电立方中强大的软件工具的支持和协助以及合作伙伴的大力支持。

眼见为实,在上海云栖大会上,阿里云现场演示了闪电立方迁移115数据的过程:2TB数据的安全传输过程仅仅耗费了2分03秒,全场黑衣服墨镜装扮的保镖,则象征着阿里云闪电立方在安全性方面的保障:每块硬盘专项分离保护,专人专车的运输。清楚的让用户感受到阿里云离线传输的专业、高效、安全。

为了使得更多类型的用户可以分享阿里云闪电立方的技术红利,阿里云还推出了闪电立方mini版,可提供单台40TB的数据迁移能力,更值得称道是闪电立方内置软件的图形化界面,引导式服务体验,可以令没有存储专业知识的普通用户也可以轻松上手,轻易完成以前复杂的数据迁移工作。而在这背后,是阿里云研发人员付出的辛苦劳动,阿里云存储资深产品总监承宗坦言,将互联网产品思维带到企业级产品上,这本身就是对阿里云研发人员的很大的挑战,而真正让互联网产品的体验体现在企业级产品上,就是更大的挑战了,感谢阿里云研发人员的艰苦努力,最终为用户提供了这样一个简单易用的数据迁移解决方案。

在数据安全方面,闪电立方mini版同样提供端到端的数据加密服务和数据一致性校验。不同的是,闪电立方mini版可以自行部署,再由专业的物流运输至阿里云的数据中心,实现离线数据的快速上云。

更好的消息是,阿里云闪电立方采用的是租用模式,不需要花费大价钱去购买硬件,计费完全由使用闪电立方的时间而确定,这对资金并不宽裕的中小企业来说,真的是一个福音。

其实,阿里云在企业级存储市场布局已久,凭借多层次防护、跨Region容灾等能力已经连续2年入选Gartner全球云存储魔力象限,处于全球前四的领导者地位。

此前,阿里云还曾帮助中石化、中国邮政、中国南方电网、飞利浦等多家企业实施上云迁移,并提供云化战略咨询、云上应用架构优化等服务,115科技上云也让阿里云成为国内唯一拥有百PB级别迁移经验的云服务厂商。

这篇关于把100PB数据迁移到阿里云,需要几步?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/715108

相关文章

在不同系统间迁移Python程序的方法与教程

《在不同系统间迁移Python程序的方法与教程》本文介绍了几种将Windows上编写的Python程序迁移到Linux服务器上的方法,包括使用虚拟环境和依赖冻结、容器化技术(如Docker)、使用An... 目录使用虚拟环境和依赖冻结1. 创建虚拟环境2. 冻结依赖使用容器化技术(如 docker)1. 创

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

轻松上手MYSQL之JSON函数实现高效数据查询与操作

《轻松上手MYSQL之JSON函数实现高效数据查询与操作》:本文主要介绍轻松上手MYSQL之JSON函数实现高效数据查询与操作的相关资料,MySQL提供了多个JSON函数,用于处理和查询JSON数... 目录一、jsON_EXTRACT 提取指定数据二、JSON_UNQUOTE 取消双引号三、JSON_KE

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

SQL Server数据库迁移到MySQL的完整指南

《SQLServer数据库迁移到MySQL的完整指南》在企业应用开发中,数据库迁移是一个常见的需求,随着业务的发展,企业可能会从SQLServer转向MySQL,原因可能是成本、性能、跨平台兼容性等... 目录一、迁移前的准备工作1.1 确定迁移范围1.2 评估兼容性1.3 备份数据二、迁移工具的选择2.1

在Rust中要用Struct和Enum组织数据的原因解析

《在Rust中要用Struct和Enum组织数据的原因解析》在Rust中,Struct和Enum是组织数据的核心工具,Struct用于将相关字段封装为单一实体,便于管理和扩展,Enum用于明确定义所有... 目录为什么在Rust中要用Struct和Enum组织数据?一、使用struct组织数据:将相关字段绑

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

Java实现Elasticsearch查询当前索引全部数据的完整代码

《Java实现Elasticsearch查询当前索引全部数据的完整代码》:本文主要介绍如何在Java中实现查询Elasticsearch索引中指定条件下的全部数据,通过设置滚动查询参数(scrol... 目录需求背景通常情况Java 实现查询 Elasticsearch 全部数据写在最后需求背景通常情况下