AWS S3 vs谷歌云 vs Azure:云存储性能的比较

2023-10-09 10:48

本文主要是介绍AWS S3 vs谷歌云 vs Azure:云存储性能的比较,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我正在建立一个新的可以迅速处理大量科学数据的云产品。迄今为止我们最大的客户数据集大约有3000个表,平均每个40到80MB,总计150GB。我们的目标是在10秒或更少的时间之内处理它们。每个表都可以被独立处理,因此我们着重并行化,即部署使用了1000个或更多的vCPU。棘手的部分是如何快速阅读那么多的数据到内存中。现在大约80%的计算时间是花在读取数据上的,这就导出了将要连载的三篇文章的重点是:云存储性能。作为解决这个问题的一部分,我评估了几种不同的方法:对象存储,数据库支持的存储和附加存储。每种方法我将在连载的不同部分中详细描述。

写这篇文章中途,谷歌碰巧发布了他们的多重云PerfKitBenchmarker。只要我能找到,这篇文章也将第一时间发布PerfKitBenchmarker的测评结果。

第一部分:对象存储

必须注意:基准是特定于应用程序的,也有少部分基于网络负载,邻近VM活动。当读到这里,考虑一下这些基准是否和你的应用程序有关,并且要理解这些结果可能不会反应到你的经历中。

对象存储(Amazon AWS 简单存储服务(S3),谷歌云存储(GCS),微软Azure存储)提供了一个简单的放/得到/头/表(PUT/GET/HEAD/LIST)接口,用来存储因为太大而不能放进数据库的任何类型的数据。它很具有吸引力,因为便宜、通过自动冗余和缩放来服务并发需求,提供安全保障。而缺点是具有延迟(为每一个文件建立一个新的HTTP连接)和受限制的网络吞吐量和可用性。

下载

我看了两个关键指标:用从相同地区相同供应商的虚拟机下载文件时,下载

这篇关于AWS S3 vs谷歌云 vs Azure:云存储性能的比较的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/172302

相关文章

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式:MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom

Redis存储的列表分页和检索的实现方法

《Redis存储的列表分页和检索的实现方法》在Redis中,列表(List)是一种有序的数据结构,通常用于存储一系列元素,由于列表是有序的,可以通过索引来访问元素,因此可以很方便地实现分页和检索功能,... 目录一、Redis 列表的基本操作二、分页实现三、检索实现3.1 方法 1:客户端过滤3.2 方法

C#比较两个List集合内容是否相同的几种方法

《C#比较两个List集合内容是否相同的几种方法》本文详细介绍了在C#中比较两个List集合内容是否相同的方法,包括非自定义类和自定义类的元素比较,对于非自定义类,可以使用SequenceEqual、... 目录 一、非自定义类的元素比较1. 使用 SequenceEqual 方法(顺序和内容都相等)2.

对postgresql日期和时间的比较

《对postgresql日期和时间的比较》文章介绍了在数据库中处理日期和时间类型时的一些注意事项,包括如何将字符串转换为日期或时间类型,以及在比较时自动转换的情况,作者建议在使用数据库时,根据具体情况... 目录PostgreSQL日期和时间比较DB里保存到时分秒,需要和年月日比较db里存储date或者ti

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

C#使用yield关键字实现提升迭代性能与效率

《C#使用yield关键字实现提升迭代性能与效率》yield关键字在C#中简化了数据迭代的方式,实现了按需生成数据,自动维护迭代状态,本文主要来聊聊如何使用yield关键字实现提升迭代性能与效率,感兴... 目录前言传统迭代和yield迭代方式对比yield延迟加载按需获取数据yield break显式示迭

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

使用JavaScript操作本地存储

《使用JavaScript操作本地存储》这篇文章主要为大家详细介绍了JavaScript中操作本地存储的相关知识,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录本地存储:localStorage 和 sessionStorage基本使用方法1. localStorage