【Oracle云】使用 boto3 访问 OCI 对象存储 (AWS S3协议兼容)

2024-02-01 11:28

本文主要是介绍【Oracle云】使用 boto3 访问 OCI 对象存储 (AWS S3协议兼容),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在现代云计算环境中,S3(Simple Storage Service)协议已经成为云对象存储的事实标准。它提供了简单、可扩展、高度耐用的存储解决方案,得到了广泛应用。Oracle Cloud Infrastructure(OCI)秉承着开放性和灵活性的理念,为用户提供了兼容AWS S3协议的对象存储服务。

本文将介绍如何使用 boto3,AWS SDK for Python,通过S3协议访问OCI对象存储。能够在多云环境中实现高度的可移植性,利用协议的兼容性轻松构建跨云的存储方案。

OCI Compartment:

OCI compartment 是 Oracle Cloud Infrastructure(OCI)中的一个概念,它类似于 Kubernetes 中的 namespace。它们的作用主要是组织和进行资源的逻辑隔离。

在 OCI 中,compartment 用于组织和管理 OCI 资源,例如计算实例、存储卷、网络资源等。每个 compartment 都有自己的资源层次结构,可以将相关资源组织在一起,以便更好地管理和控制访问权限。

AWS AK SK:

AWS 认证的 ak,sk 是指 AWS Access Key 和 Secret Access Key。这是 AWS 身份验证过程中最常见的一种认证方式。

  • Access Key(访问密钥)是一个由 AWS 生成的唯一标识符,用于标识和验证对 AWS 资源的访问权限。它类似于用户名。
  • Secret Access Key(秘密访问密钥)是与 Access Key 相关联的机密字符串,用于对身份进行验证。它类似于密码。

Boto3: 

Boto3 是 AWS 的 Python SDK,主要用于与 AWS 服务进行交互。它提供了与 AWS 服务的集成和操作的功能。在对象存储场景中,OCI 提供 S3协议的兼容,可以使用 boto3 直接操作对象存。

1 OCI 兼容 AWS S3 的使用流程

1.1 生成 AK, SK

  • 在用户设置界面中(控制台右上),选择 User 配置
  • 找到Customer Secret Keys
  • 生成 secret key

键入生成 Key 的名称,示例为:s3test

生成 KEY

注意:生成的 SK 只显示一次

成功生成 KEY 后即可看到 AK

1.2 OCI Endpoint 命名方式参考

需要注意,在 OCI 中使用 S3 协议对象存储,Endpoint 域名区别于AWS, 示例:

可参考信息:

对象存储 namespace

Understanding Object Storage Namespaces

region信息

Regions and Availability Domains

# 配置中 region 和 namespace_name {bucketnamespace}.compat.objectstorage.{region}.oraclecloud.com

1.3 兼容测试

可使用 AWS cli 操作 OCI 对象存储,验证核心功能

export AWS_ACCESS_KEY_ID=507dee8xxxxxxxxxxxxxxxxxxxxxxx
export AWS_SECRET_ACCESS_KEY=vIrC+BaYxxxxxxxxxxxxxxxxxxxno=
export AWS_DEFAULT_REGION=eu-frankfurt-1# 通过s3协议调用预签名功能
aws s3 presign  s3://bucket-20230516-1236/1213.txt  --endpoint-url  https://xxxx.compat.objectstorage.eu-frankfurt-1.oraclecloud.com

2 修改对象存储的 Namespace

注意:AWS没有 Compartment 的概念,所有使用兼容 AWS 的 SDK,默认访问根 compartment (root) 的对象存储桶。

具体修改的位置在 用户配置 --> 租户 --> edit object storage settings 中进行设置,如下操作截图:

3 Demo

通过 boto3 查看 eu-frankfurt-1 区域 所有 s3 存储桶的名称,示例如下:

import boto3s3 = boto3.resource('s3',aws_access_key_id="507dee8d01xxxxxxxxxxxxxxxxxxx4", # AKaws_secret_access_key="vIrC+xxxxxxxxxxxxxxxxxxxxxxxno=", # SKregion_name="eu-frankfurt-1", # Region 信息endpoint_url="https://cnmxxxxxxxhxmt.compat.objectstorage.eu-frankfurt-1.oraclecloud.com" # 兼容域名
)# Print out the bucket names
for bucket in s3.buckets.all():print(bucket.name)

4 参考

对象存储 namespace

Understanding Object Storage Namespaces

region信息

Regions and Availability Domains

安装 AWS cli

Install or update the latest version of the AWS CLI - AWS Command Line Interface

🚀 炸鸡物料库 🚀

🔍 内容定位: IT技术领域,云计算、云原生、DevOps 和 AI 等相关的技术资讯、实践和经验分享。面向开发、系统和云计算,提供实用的技术内容。

🎯 目标受众: 面向开发者、系统管理员和云计算从业者,提供实用的技术内容。

🗓️ 更新频率:每周更新,每次分享都为您带来有价值的技术内容。

🤝 互动与反馈: 鼓励读者留言、评论,有问题随时提问,我们将积极互动并提供帮助。

💌 订阅方式: 扫描二维码或搜索“炸鸡物料库”关注,不错过每一篇精彩内容。

🌐 合作与分享: 如果您有技术分享或合作计划,欢迎联系我们,共同成长!

​​​​​​​

这篇关于【Oracle云】使用 boto3 访问 OCI 对象存储 (AWS S3协议兼容)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/667140

相关文章

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

安卓链接正常显示,ios#符被转义%23导致链接访问404

原因分析: url中含有特殊字符 中文未编码 都有可能导致URL转换失败,所以需要对url编码处理  如下: guard let allowUrl = webUrl.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) else {return} 后面发现当url中有#号时,会被误伤转义为%23,导致链接无法访问

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma