人工智能计算中心(AICC)OBS对象存储使用指南

2023-10-17 06:10

本文主要是介绍人工智能计算中心(AICC)OBS对象存储使用指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

人工智能计算中心(AICC)OBS对象存储使用指南

  • 前言
  • 一、注册登录AICC门户网站
    • 1.1 创建访问密钥对
  • 二、 对象存储服务OBS桶使用
    • 客户端使用
      • 2.1 带界面客户端
      • 2.2 命令行客户端
  • 三、 OBS与开发环境的数据交换
    • 使用开发镜像内置的moxing工具交互
  • 四、总结


前言

人工智能计算中心(以下简称AICC),提供有AI开发环境、AI训练算力服务以及数据存储服务功能(以下简称OBS)。AI开发环境与数据存储是相互隔离的(开发环境的数据除外),其中数据存储统一存放在OBS桶里面中,以下将讲解如何使用OBS桶进行数据存储以及开发环境中如何与OBS桶进行数据交换。


一、注册登录AICC门户网站

中国-东盟人工智能计算中心
许昌人工智能计算中心
天津人工智能计算中心

首先,把已经注册开通好资源的账号进行登录,如下图点击登录AICC后台;
人工智能计算中心登录界面

1.1 创建访问密钥对

登录后台,进入ModelArts,右边有访问密钥,生成密钥对文件(密钥.csv),会自动下载到本地。该文件用于登录OBS桶的账号密码,需保管好;如有遗失,可重新生成。
创建密钥对

创建密钥对


二、 对象存储服务OBS桶使用

首先,进入对象存储服务控制台的web端。
进入对象存储控制台
下载客户端

客户端使用

2.1 带界面客户端

  • 下载安装
    进入门户网站的对象存储服务,选择对应版本的OBS客户端,如下所示。
    下载
  • 登录配置
    其中东盟-AICC的服务地址为:obs.cn-south-292.ca-aicc.com,其他的请咨询本地的AICC运营团队;AK和SK分别是密钥对中的两列内,填写进入既可。
    登录配置
  • 使用
    创建OBS桶(类似本地硬盘盘符)
    区域填写:cn-south-292 (注:东盟-AICC)
    创建桶
  • 上传文件
    上传文件
  • 下载文件
    下载文件
  • OBSBroswer+使用参考

2.2 命令行客户端

  • 请下载对应版本的客户端
    下载命令行应用

  • 登录配置
    命令行登录配置:
    obsutil config -i=xxx -k=xxx -e= obs.cn-south-292.ca-aicc.com
    其中-i的配置是密钥对中的AK,-k是密钥对中的SK。

  • 使用参考


三、 OBS与开发环境的数据交换

ModelArts提供有两种工具进行开发环境与OBS环境的数据交互。分别是Moxing 工具与modelarts sdk两个工具包。

使用开发镜像内置的moxing工具交互

Moxing工具的使用指南

  • 从obs拷贝文件到本地,进入python交互界面
import moxing as mox
mox.file.copy_parallel(“from_dir”,”des_dir”)

进入notebook开发环境
如图操作:
复制文件样例

  • 从本地复制到OBS方式
import moxing as mox 
mox.file.copy_parallel('CelebA.zip', 'obs://dataset-coco/CelebA.zip')

从notebook复制到obs


四、总结

以上就是计算中心OBS对象存储服务的使用指导的内容,本文仅仅简单介绍了OBS的使用,需要更多的操作可以参考计算中心提供的指导文档。

这篇关于人工智能计算中心(AICC)OBS对象存储使用指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223453

相关文章

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

Java第二阶段---09类和对象---第三节 构造方法

第三节 构造方法 1.概念 构造方法是一种特殊的方法,主要用于创建对象以及完成对象的属性初始化操作。构造方法不能被对象调用。 2.语法 //[]中内容可有可无 访问修饰符 类名([参数列表]){ } 3.示例 public class Car {     //车特征(属性)     public String name;//车名   可以直接拿来用 说明它有初始值     pu

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎,每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性,有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点: 事务支持:InnoDB 是一个支持 ACID(原子性、一致性、隔离性、持久性)事务的存储引擎。行级锁:使用行级锁来提高并发性,减少锁竞争

基于人工智能的智能家居语音控制系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 随着物联网(IoT)和人工智能技术的发展,智能家居语音控制系统已经成为现代家庭的一部分。通过语音控制设备,用户可以轻松实现对灯光、空调、门锁等家电的控制,提升生活的便捷性和舒适性。本文将介绍如何构建一个基于人工智能的智能家居语音控制系统,包括环境准备

从希腊神话到好莱坞大片,人工智能的七大历史时期值得铭记

本文选自historyextra,机器之心编译出品,参与成员:Angulia、小樱、柒柒、孟婷 你可能听过「技术奇点」,即本世纪某个阶段将出现超级智能,那时,技术将会以人类难以想象的速度飞速发展。同样,黑洞也是一个奇点,在其上任何物理定律都不适用;因此,技术奇点也是超越未来理解范围的一点。 然而,在我们到达那个奇点之前(假设我们能到达),还存在另一个极大的不连续问题,我将它称之

HTML5自定义属性对象Dataset

原文转自HTML5自定义属性对象Dataset简介 一、html5 自定义属性介绍 之前翻译的“你必须知道的28个HTML5特征、窍门和技术”一文中对于HTML5中自定义合法属性data-已经做过些介绍,就是在HTML5中我们可以使用data-前缀设置我们需要的自定义属性,来进行一些数据的存放,例如我们要在一个文字按钮上存放相对应的id: <a href="javascript:" d

PHP7扩展开发之对象方式使用lib库

前言 上一篇文章,我们使用的是函数方式调用lib库。这篇文章我们将使用对象的方式调用lib库。调用代码如下: <?php $hello = new hello(); $result = $hello->get(); var_dump($result); ?> 我们将在扩展中实现hello类。hello类中将依赖lib库。 代码 基础代码 这个扩展,我们将在say扩展上增加相关代码。sa

hibernate修改数据库已有的对象【简化操作】

陈科肇 直接上代码: /*** 更新新的数据并并未修改旧的数据* @param oldEntity 数据库存在的实体* @param newEntity 更改后的实体* @throws IllegalAccessException * @throws IllegalArgumentException */public void updateNew(T oldEntity,T newEntity