亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级

2024-03-13 08:59

本文主要是介绍亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级

本篇文章授权活动官方亚马逊云科技文章转发、改写权,包括不限于在 亚马逊云科技开发者社区, 知乎,自媒体平台,第三方开发者媒体等亚马逊云科技官方渠道。

文章目录

  • 亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级
    • 大会介绍
    • 一、Amazon S3 Standard
    • 二、Amazon S3 Express One Zone
      • 1.升级对比
      • 2.使用场景
    • 三、使用体验
      • 1.创建存储桶
      • 2. 权限设置
      • 3.创建文件夹
      • 4.上传或下载
      • 5.策略配置
      • 6.链接访问
    • 结语

大会介绍

在这里插入图片描述
亚马逊云科技的 re:Invent 大会是一年一度的,面向全球技术开发者科技盛会。几乎每次都会发布云科技、云计算等相关领域的产品重磅更新,不但将时下主流热门的技术不断整合,也未将来的发展标明了方向。
其中的内容不仅仅展现了亚马逊云科技自身产品的更新,也为该行业的从业者提供了一个很好的学习和发展参照。回顾最近十年,科技领域的发展逐渐迅猛,技术的更替以及开发模式的变更都越来越快,尽早的了解科技的发展方向是尤为重要的。
2023年的 re:Invent 大会上,一口气发布了十余款核心产品的重磅更新,其中包括AI、芯片、对象存储、Serverless、ETL等等。本篇文章就主要来说说一直在用的 Amazon S3 对象存储。

一、Amazon S3 Standard

在这里插入图片描述

首先对Amazon S3做一个简短的介绍,然后再来详细的说一说产品的进化版本。有些小伙伴可能之前还没有使用过亚马逊云的S3,但是相信一定听说过对象存储。这是自大数据兴起以来就不断焕发生机的产品,原因很简单,这个产品是和存储相关的,而存储又是在大数据分析、模型训练、机器学习等领域不可或缺的一环。
同时,产品本身的特性又使得它对媒体文件访问有很好的支持,这就决定了该产品和其它领域有着超强的结合性以及丰富的功能扩展性。因此,可以其它的产品很好的承接,便于数据的流通,提高整体效率。

二、Amazon S3 Express One Zone

在这里插入图片描述

1.升级对比

根据官方文章的内容:General-Availability-of-Amazon-S3-Express-One-Zone,本次更新主要体现在性能方面,突破工作负载瓶颈。前文也提到了,产品的核心是存储,如果提高了效率,那也就意味着可以和更多的产品优雅的结合,毕竟产品的封装与打通更多的是业务逻辑上的,而对于性能上的提升往往需要更加大量的工作。
以下对于基于 Amazon S3 Express One ZoneAmazon S3 Standard

  • 高达10倍的数据访问速度
  • 减少50%左右的请求成本
  • 可将数据存储在与其计算资源相同的 Amazon云服务 可用区中,进一步降本增效
  • 更大的扩展性和灵活性

其实,单是前两条就已经是十分出色了,因为对于讨论的背景是存储数百万亿每秒亿次请求

2.使用场景

在这里插入图片描述

由于本次更新主要是在性能上的提升,小编不能带大家直接体验,这里介绍一下基本的使用帮助大家来入门,同时也讲一下与 EMR 进行结合的使用场景,真的不要太方便。

  • 产品链接:Amazon EMR 大数据处理_大数据分析工具

本人长期从事大数据方向的开发,通常完成一个数据计算流程要多个组件,整个流程中数据通常要存储或暂存在多个数据载体,而S3就可以作为这个载体,并且通过 Amazon S3 API 可以获取数据结果,结合到其它的业务流程中去,十分高效!
在这里插入图片描述

EMR相当于是一个封装好的,拆箱即用的云大数据环境,不再需要自己手动用服务器集群搭建和维护。同时,也一起解决了兼容性问题,由EMR发行版直接来进行管理。

  • 将S3作为数据输入或输出的存储
  • S3十分便于存储扩展
  • 不需要计算时节省EMR成本

这里主要是某些流程中将 S3 作为存储媒介会十分方便,而不是说用 S3 完全代替 HDFS。多了一个可选的存储位置,在很多场景下就可以更灵活的处理。因为S3存储的高存储扩展性,对于输入数据或输出数据的大小变化可以轻松应对,而不需要影响到EMR。
很多的结果数据输出产生后还需要进入到多个数据流程,同时要兼顾权限的管理等问题,都可以结合S3来实现共享和管理。特别是对于一个庞大的系统来说,数据之间的合理打通和使用是一个大问题,S3在这一方面提供了一个可选方案。

三、使用体验

  • 产品链接:高性能存储 – S3 Express One Zone

对于第一次使用对象存储产品的小伙伴,可以跟着实际操作一下。值得一提的是,S3同样属于新账号免费套餐产品,可以在一定额度下免费使用12个月。
在这里插入图片描述

  • 5GB标准存储容量
  • 20000 个 Get 请求
  • 2000 个 Put 请求

1.创建存储桶

只要注册一个账号就可以开始操作了,点击 开始使用Amazon S3 进入到创建界面,点击 创建存储桶
在这里插入图片描述

然后设置 AWS区域存储桶名称 【需要找一个不重复的名称】:
在这里插入图片描述

2. 权限设置

在生产环境中,我们要对权限详细进行设置,在本例中,我们将其作为一个基本的图床来使用,上传一些图片来进行链接访问,因此先 开放公开访问 ,便于测试。
在这里插入图片描述

其它设置不需要更改,点击 创建存储桶

3.创建文件夹

创建完成后可以看到存储桶列表,在其中可以创建文件夹或进行上传、下载,此时已经可以当作私人网盘来使用了。即使此前开放了公开访问,但是没有 配置策略 前还是不能公开访问的。首先进入存储桶,然后新建一个文件夹:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.上传或下载

目前这部分操作就和使用网盘一样,十分简单,接下来我们在文件夹中上传文件。先切换到目标文件夹,然后点击 上传 按钮:
在这里插入图片描述

选择本地文件后,点击 上传
在这里插入图片描述

上传完成后回到文件目录,勾选即可 下载
在这里插入图片描述

5.策略配置

此时大家可能注意到,文件上传后已经有了一个唯一的链接,但是如果直接访问会提示 AccessDeniedAccess Denied ,接下来演示一下策略的修改。这里要特别说明,是否进行策略的修改取决于大家的需要,小编此前也用过很多对象存储相关产品,有些是对媒体访问十分方便的,可以通过参数拼接URL实现图片的裁剪或放大缩小的显示。对于亚马逊云的产品,需要进行一些额外的操作,要稍微学习一下。
点击 权限 标签页下的存储桶策略 编辑 按钮:
在这里插入图片描述

点击 策略生成器,然后我们想干什么,选择就好了:
在这里插入图片描述

选择 S3 Bucket Policy,Principal填写 *,只读对应的Actions为 GetObject,最后填写路径:
在这里插入图片描述

最后的路径可以查看格式样例,以 arn:aws:s3::: 开头,然后填写存储桶名称,后面可以再拼接需要开放的路径。点击 Add Statement 后可以进行预览,确认无误点击 Generate Policy
在这里插入图片描述

点击后得到如下一段代码:

{"Id": "Policy1702166842711","Version": "2012-10-17","Statement": [{"Sid": "Stmt1702166753697","Action": ["s3:GetObject"],"Effect": "Allow","Resource": "arn:aws:s3:::saXXXec/pic/*","Principal": "*"}]
}

将其粘贴到策略配置界面中,点击 保存更改
在这里插入图片描述

6.链接访问

配置完成后我们可以实际测试一下,找到刚刚上传的图片文件,可以看到一个 对象URL
在这里插入图片描述
此时已经可以正常访问:
在这里插入图片描述

结语

小编所在的项目中很多都是使用亚马逊云的产品,其中S3充当了十分重要的角色,只能说唯有亲身体会之后才能感觉到其中的便捷和强大。这一次的re:Invent大会同样还有其它的重磅消息,会在其它文章中继续为大家解读😄。

这篇关于亚马逊云科技 re:Invent 大会 - S3 对象存储华丽升级的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/804323

相关文章

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

从戴尔公司中国大饭店DTF大会,看科技外企如何在中国市场发展

【科技明说 | 科技热点关注】 2024戴尔科技峰会在8月如期举行,虽然因事未能抵达现场参加,我只是观看了网上在线直播,也未能采访到DTF现场重要与会者,但是通过数十年对戴尔的跟踪与观察,我觉得2024戴尔科技峰会给业界传递了6大重要信号。不妨简单聊聊:从戴尔公司中国大饭店DTF大会,看科技外企如何在中国市场发展? 1)退出中国的谣言不攻自破。 之前有不良媒体宣扬戴尔将退出中国的谣言,随着2

macOS升级后SVN升级

问题 svn: error: The subversion command line tools are no longer provided by Xcode. 解决 sudo chown -R $(whoami) /usr/local/Cellar brew install svn

Java第二阶段---09类和对象---第三节 构造方法

第三节 构造方法 1.概念 构造方法是一种特殊的方法,主要用于创建对象以及完成对象的属性初始化操作。构造方法不能被对象调用。 2.语法 //[]中内容可有可无 访问修饰符 类名([参数列表]){ } 3.示例 public class Car {     //车特征(属性)     public String name;//车名   可以直接拿来用 说明它有初始值     pu

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎,每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性,有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点: 事务支持:InnoDB 是一个支持 ACID(原子性、一致性、隔离性、持久性)事务的存储引擎。行级锁:使用行级锁来提高并发性,减少锁竞争

研究人员在RSA大会上演示利用恶意JPEG图片入侵企业内网

安全研究人员Marcus Murray在正在旧金山举行的RSA大会上公布了一种利用恶意JPEG图片入侵企业网络内部Windows服务器的新方法。  攻击流程及漏洞分析 最近,安全专家兼渗透测试员Marcus Murray发现了一种利用恶意JPEG图片来攻击Windows服务器的新方法,利用该方法还可以在目标网络中进行特权提升。几天前,在旧金山举行的RSA大会上,该Marcus现场展示了攻击流程,

HTML5自定义属性对象Dataset

原文转自HTML5自定义属性对象Dataset简介 一、html5 自定义属性介绍 之前翻译的“你必须知道的28个HTML5特征、窍门和技术”一文中对于HTML5中自定义合法属性data-已经做过些介绍,就是在HTML5中我们可以使用data-前缀设置我们需要的自定义属性,来进行一些数据的存放,例如我们要在一个文字按钮上存放相对应的id: <a href="javascript:" d

PHP7扩展开发之对象方式使用lib库

前言 上一篇文章,我们使用的是函数方式调用lib库。这篇文章我们将使用对象的方式调用lib库。调用代码如下: <?php $hello = new hello(); $result = $hello->get(); var_dump($result); ?> 我们将在扩展中实现hello类。hello类中将依赖lib库。 代码 基础代码 这个扩展,我们将在say扩展上增加相关代码。sa

Golang支持平滑升级的HTTP服务

前段时间用Golang在做一个HTTP的接口,因编译型语言的特性,修改了代码需要重新编译可执行文件,关闭正在运行的老程序,并启动新程序。对于访问量较大的面向用户的产品,关闭、重启的过程中势必会出现无法访问的情况,从而影响用户体验。 使用Golang的系统包开发HTTP服务,是无法支持平滑升级(优雅重启)的,本文将探讨如何解决该问题。 一、平滑升级(优雅重启)的一般思路 一般情况下,要实现平滑