优刻得公有云并行文件存储UPFS,正式公测!

2024-06-20 12:52

本文主要是介绍优刻得公有云并行文件存储UPFS,正式公测!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为了满足市场对高效存储的迫切需求,优刻得公有云并行文件存储UPFS,现正式公测!延续私有化的高性能、高可靠、易用性,灵活应对客户的弹性诉求。

随着2024年大模型技术的广泛应用,整个AI生态正逐步向产业链深度融合。对于众多中小AI企业来说,算力资源的投入仍是一笔不小的开销。因此,在IaaS资源的选择上,企业更加倾向于成本效益高、弹性计算能力强的解决方案,而公有云无疑是他们的重要选择。

延续私有云,5大产品特性应对AI存储挑战

当前,AIGC发展依旧迅猛,也带动了全行业对数据服务板块的强烈需求,尤其是在多模态数据集的处理方面。为了使训练问答和产出达到预期效果,数据提供方必须确保数据的即时性和有效性。
UPFS是优刻得自主研发的高性能并行文件系统,旨在满足数据访问速度、可扩展性和可靠性的极致要求。通过创新设计,UPFS在元数据管理和数据存储引擎等方面实现了突破,具备最高每秒TB级吞吐、千万级IOPS的能力的同时,还可以保障亚毫秒级的时延,这使其成为人工智能大模型训练、自动驾驶、电子设计自动化仿真及计算机图形渲染等领域的理想存储方案。

高性能:支持POSIX协议的自研客户端,能够发挥底层资源的极限性能,数据路由算法采用高效的一致性哈希算法,缩短了IO路径,单个文件系统的吞吐最高可扩展至TB/s,IOPS最高可达千万级,时延可稳定在亚毫秒级别。

高可用:

1.存储节点高可用:多个存储节点构成存储集群,实现数据分布和负载均衡。2.数据存储高可用:数据存储采用分布式存储方案,支持多副本、数据均衡存储和故障自恢复,保障数据的完整性和可用性。3.元数据高可用:采用分布式架构存储文件系统元数据,多节点、多副本机制保证元数据服务高可用。并且所有节点均可处理元数据请求,防止元数据热点,提高整体集群的元数据OPS,分散开之后的元数据请求能够充分发挥每一个元数据节点的性能。

弹性扩容:扩容对使用文件存储的应用无感知。单个文件系统公测期目前支持最大10PiB级容量。

数据共享:通过挂载的方式,允许在同一个项目内的任意主机,都可以访问指定文件系统,从而达到数据共享的目的。文件存储不会限制可挂载文件系统的主机个数,这对需要大量节点进行共享数据处理的场景更加友好。

易用性:可以通过控制台方便地进行创建、扩容、删除等操作。并且由于文件存储支持 POSIX协议,让基于POSIX的应用能够无缝地对接文件存储产品。各类文件系统管理工具都可以直接使用,不需要对以往的开发和运维习惯做任何改变。

UPFS公测地域为华北二(乌兰察布),以100TiB文件系统为例,读吞吐最大可达60GB/s、写吞吐最大可达20GB/s;读IOPS 最大可达1200w、写IOPS最大可达 400w;平均单路4k读延迟0.25ms、平均单路4k写延迟0.3ms。

公测期间,支持POSIX协议,享受500MB/s/TiB基线版本。公测期部署的集群规模有限,吞吐和带宽会随容量线性提升,若想试用最高TB/s的吞吐,可通过文末联系优刻得技术支持团队。

抢先体验公有云UPFS

这篇关于优刻得公有云并行文件存储UPFS,正式公测!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1078188

相关文章

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎,每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性,有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点: 事务支持:InnoDB 是一个支持 ACID(原子性、一致性、隔离性、持久性)事务的存储引擎。行级锁:使用行级锁来提高并发性,减少锁竞争

微软正式推出 Spartan 斯巴达浏览器

作为用于替代 IE 浏览器的下一代继任者,微软的 Project Spartan 斯巴达浏览器可算是吊足了玩家们的胃口!如今,在最新的 Windows 10 Build 10049 版本起,它终于正式登场了。 斯巴达浏览器搭载了全新的渲染引擎、新的用户界面并集成了 Cortana 语音助手。功能上新增了稍后阅读列表、阅读视图、F12开发者工具、支持网页注释 (手写涂鸦),可以保存到 O

ORACLE语法-包(package)、存储过程(procedure)、游标(cursor)以及java对Result结果集的处理

陈科肇 示例: 包规范 CREATE OR REPLACE PACKAGE PACK_WMS_YX IS-- Author : CKZ-- Created : 2015/8/28 9:52:29-- Purpose : 同步数据-- Public type declarations,游标 退休订单TYPE retCursor IS REF CURSOR;-- RETURN vi_co_co

OpenStack离线Train版安装系列—11.5实例使用-Cinder存储服务组件

本系列文章包含从OpenStack离线源制作到完成OpenStack安装的全部过程。 在本系列教程中使用的OpenStack的安装版本为第20个版本Train(简称T版本),2020年5月13日,OpenStack社区发布了第21个版本Ussuri(简称U版本)。 OpenStack部署系列文章 OpenStack Victoria版 安装部署系列教程 OpenStack Ussuri版

多云架构下大模型训练的存储稳定性探索

一、多云架构与大模型训练的融合 (一)多云架构的优势与挑战 多云架构为大模型训练带来了诸多优势。首先,资源灵活性显著提高,不同的云平台可以提供不同类型的计算资源和存储服务,满足大模型训练在不同阶段的需求。例如,某些云平台可能在 GPU 计算资源上具有优势,而另一些则在存储成本或性能上表现出色,企业可以根据实际情况进行选择和组合。其次,扩展性得以增强,当大模型的规模不断扩大时,单一云平

MySQL技术内幕_innodb存储引擎

MySQL技术内幕_innodb存储引擎 INNODB innodb中如果表没有主键 表是否由 非空唯一键,有则该字段为主键没有,则自动创建一个6字节大小的指针 innodb存储引擎的所有数据都存储在表空间中,表空间由段,区,页(块)组成。 如果启用了 innodb_file_per_table, 则每张表内的数据可以单独放在一个表空间中即使启用了上面参数,共享表空间也会因为 系统事务信息

单精度浮点数按存储格式转为整数的程序

///#include<cstdio>//-----------------union int_char{unsigned char ch[4];float i;};void out_put(union int_char x)//x86是小端对其模式,即最数据的最低位存储在地址的最低位上。{printf("单精度浮点数值为:%f\n",x.i,x.i);printf("存储位置从左到右

Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(4)

本文仅作笔记学习和分享,不用做任何商业用途 本文包括但不限于unity官方手册,unity唐老狮等教程知识,如有不足还请斧正​​ Unity数据持久化 之 一个通过2进制读取Excel并存储的轮子(3)-CSDN博客  这节就是真正的存储数据了   理清一下思路: 1.存储路径并检查 //2进制文件类存储private static string Data_Binary_Pa