本文主要是介绍AWS S3 vs谷歌云 vs Azure:云存储性能的比较,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
我正在建立一个新的可以迅速处理大量科学数据的云产品。迄今为止我们最大的客户数据集大约有3000个表,平均每个40到80MB,总计150GB。我们的目标是在10秒或更少的时间之内处理它们。每个表都可以被独立处理,因此我们着重并行化,即部署使用了1000个或更多的vCPU。棘手的部分是如何快速阅读那么多的数据到内存中。现在大约80%的计算时间是花在读取数据上的,这就导出了将要连载的三篇文章的重点是:云存储性能。作为解决这个问题的一部分,我评估了几种不同的方法:对象存储,数据库支持的存储和附加存储。每种方法我将在连载的不同部分中详细描述。
写这篇文章中途,谷歌碰巧发布了他们的多重云PerfKitBenchmarker。只要我能找到,这篇文章也将第一时间发布PerfKitBenchmarker的测评结果。
第一部分:对象存储
必须注意:基准是特定于应用程序的,也有少部分基于网络负载,邻近VM活动。当读到这里,考虑一下这些基准是否和你的应用程序有关,并且要理解这些结果可能不会反应到你的经历中。
对象存储(Amazon AWS 简单存储服务(S3),谷歌云存储(GCS),微软Azure存储)提供了一个简单的放/得到/头/表(PUT/GET/HEAD/LIST)接口,用来存储因为太大而不能放进数据库的任何类型的数据。它很具有吸引力,因为便宜、通过自动冗余和缩放来服务并发需求,提供安全保障。而缺点是具有延迟(为每一个文件建立一个新的HTTP连接)和受限制的网络吞吐量和可用性。
下载
我看了两个关键指标:用从相同地区相同供应商的虚拟机下载文件时,下载
这篇关于AWS S3 vs谷歌云 vs Azure:云存储性能的比较的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!