本文主要是介绍人工智能计算中心(AICC)OBS对象存储使用指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
人工智能计算中心(AICC)OBS对象存储使用指南
- 前言
- 一、注册登录AICC门户网站
- 1.1 创建访问密钥对
- 二、 对象存储服务OBS桶使用
- 客户端使用
- 2.1 带界面客户端
- 2.2 命令行客户端
- 三、 OBS与开发环境的数据交换
- 使用开发镜像内置的moxing工具交互
- 四、总结
前言
人工智能计算中心(以下简称AICC),提供有AI开发环境、AI训练算力服务以及数据存储服务功能(以下简称OBS)。AI开发环境与数据存储是相互隔离的(开发环境的数据除外),其中数据存储统一存放在OBS桶里面中,以下将讲解如何使用OBS桶进行数据存储以及开发环境中如何与OBS桶进行数据交换。
一、注册登录AICC门户网站
中国-东盟人工智能计算中心
许昌人工智能计算中心
天津人工智能计算中心
…
首先,把已经注册开通好资源的账号进行登录,如下图点击登录AICC后台;
1.1 创建访问密钥对
登录后台,进入ModelArts,右边有访问密钥,生成密钥对文件(密钥.csv),会自动下载到本地。该文件用于登录OBS桶的账号密码,需保管好;如有遗失,可重新生成。
二、 对象存储服务OBS桶使用
首先,进入对象存储服务控制台的web端。
客户端使用
2.1 带界面客户端
- 下载安装
进入门户网站的对象存储服务,选择对应版本的OBS客户端,如下所示。
- 登录配置
其中东盟-AICC的服务地址为:obs.cn-south-292.ca-aicc.com,其他的请咨询本地的AICC运营团队;AK和SK分别是密钥对中的两列内,填写进入既可。
- 使用
创建OBS桶(类似本地硬盘盘符)
区域填写:cn-south-292 (注:东盟-AICC)
- 上传文件
- 下载文件
- OBSBroswer+使用参考
2.2 命令行客户端
-
请下载对应版本的客户端
-
登录配置
命令行登录配置:
obsutil config -i=xxx -k=xxx -e= obs.cn-south-292.ca-aicc.com
其中-i的配置是密钥对中的AK,-k是密钥对中的SK。 -
使用参考
三、 OBS与开发环境的数据交换
ModelArts提供有两种工具进行开发环境与OBS环境的数据交互。分别是Moxing 工具与modelarts sdk两个工具包。
使用开发镜像内置的moxing工具交互
Moxing工具的使用指南
- 从obs拷贝文件到本地,进入python交互界面
import moxing as mox
mox.file.copy_parallel(“from_dir”,”des_dir”)
如图操作:
- 从本地复制到OBS方式
import moxing as mox
mox.file.copy_parallel('CelebA.zip', 'obs://dataset-coco/CelebA.zip')
四、总结
以上就是计算中心OBS对象存储服务的使用指导的内容,本文仅仅简单介绍了OBS的使用,需要更多的操作可以参考计算中心提供的指导文档。
这篇关于人工智能计算中心(AICC)OBS对象存储使用指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!