XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路

2024-08-24 22:28

本文主要是介绍XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

8 月 15 日,由中国移动云能力中心主办的“智算存储论坛”在南京大学顺利举办,本期技术论坛的主题是《智存未来-构建 AI 时代新型存储基础设施》。作为中国移动云能力中心的合作伙伴,XSKY星辰天合受邀参加了此次技术大会。 XSKY 产品总监朱荣泽作为特邀嘉宾之一,发表了主题为《大模型时代对于存储架构的挑战》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战 并与来自中国移动云能力中心、中国信通院、南京大学、华为、中兴、JuiceFS、中国移动 IT 公司的存储领域技术专家共同探讨智算浪潮下云存储面临的挑战与机遇。

人工智能时代的存储系统技术趋势

在大模型技术加速发展的当下,相关企业对云存储这一重要的底层基础设施能力愈发重视。与会专家在此次论坛上深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括面对 AI 时代,所需的云存储技术类型,以及如何构筑智能、高效、低碳的新型存储基础设施等,涵盖了大模型时代下分布式存储现状和趋势、怎样构建面向云原生算力的智能弹性缓存系统、在 AIGC 新时代中存储的新机遇、如何提升分布式存储纠删码的性能、如何打造大模型存储底座、如何构建智能时代下的智能云存储、统一存储引擎面对当今 AI 场景的变与不变等技术议题。

XSKY 主题演讲:大模型时代对于存储架构的挑战

7500afc09052ca6b0d6a79861cd9ad0a.jpeg
图1:XSKY 产品总监朱荣泽发表演讲


在 XSKY 主题演讲环节,XSKY 产品总监朱荣泽首先阐述了在 AI 变革时代中计算和存储的关系,并且指明 AI 计算属于新的计算范式,它不仅对计算硬件提出了新的要求,也对存储技术带来了前所未有的挑战。

朱荣泽指出,GPU 的显存 DRAM 技术从 DDR 演进到 HBM,内存访 问模式从“延迟敏感”转变为“带宽优先”。 HBM 需要不断地从远端存储或本地存储加载数据,内存和数据传输之间的互联带宽,将成为 AI 计算发展的主要瓶颈。 HBM 的核心价值在于其对存储性能的重塑,它不仅提升了数据传输的速度,更改变了我们对存储核心需求的认识。

朱荣泽表示在大模型训练中 存储系统面临着大量数据的写入任务,这致使存储写带宽成为衡量其性能竞争力的关键所在。特别在多模态的情境里,大量小文件的处理给底层存储性能造成了严峻的挑战。

为了应对这些难题, XSKY 推出新的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)全闪架构,采用了创新的“端到端纠删码(EC)+ 持续压缩”技术,实现将写放大问题降低至最小,实现接近于 100% 的有效带宽利用率,提升了存储效率 。这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。朱荣泽表示,只有通过架构创新和不断的技术迭代和优化,才能为客户提供更高效、更可靠的存储解决方案。

4252a3f6f2c70d5dafd4fc1b4a210647.jpeg
图2:XSEA 星海全闪架构性能优势

联手业界生态 持续推进存储架构创新

在人工智能产业快速发展的当下,星辰天合将与更多伙伴携手奋进,持续对存储架构展开探索。借助创新的架构与软硬件组合,充分发挥分布式全闪存储的性能优势,助力客户从数据中获得更多价值,推动业务不断向前迈进

4463374ed61d5d2a43b30cc5a5964027.jpeg

欲了解星海全闪架构与星飞全闪产品的更多信息,欢迎扫描下方二维码,获取《 XSKY 星飞全闪技术白皮书》。

3de2a563ce7189eb87ca344ac01754ff.jpeg


这篇关于XSKY 亮相中国移动智算存储论坛,共话 AI 存储创新之路的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1103777

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

黑神话,XSKY 星飞全闪单卷性能突破310万

当下,云计算仍然是企业主要的基础架构,随着关键业务的逐步虚拟化和云化,对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景,众多云服务提供商正在不断推陈出新,推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上(第十五届中国数据库技术大会),XSKY星辰天合正式公布了基于星

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/