超算专题

基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

作者:左知 超算场景的业务特点 主机监控,或许是监控/可观测领域最传统和普遍的需求。在超算训练,AI 大规模训练的业务场景下,主机监控又有哪些痛点和难点呢?根据我们针对多个大规模超算客户的需求整理,超算场景的特点主要集中在如下几个方面: 大规模计算 超算擅长处理可并行化的计算问题,通过成千上万的处理器核心协同工作,实现任务的分解与加速执行。用户通常采用弹性任务调度系统在云上快速拉起大量的

将阿里云中数据传输到其他超算服务器

目录 方法一:在阿里云中连接超算,然后使用rsync(速度慢) 方法2:rclone(速度很快,100G只花了大约20min) 方法一:在阿里云中连接超算,然后使用rsync/scp(速度慢) 1.在阿里云中制作密钥 [root@host ~]$ ssh-keygen <== 制作密钥Generating public/private rsa key pair.Enter

日本百亿亿次超算曝光:性能提升100倍,2021年争第一

新智元报道   来源:spectrum.ieee.org 编译:肖琴 【导读】日本欲重夺超算第一的行动初见端倪,近日,富士通等研究机构已经开始对下一代超算Post-K进行原型CPU的实地测试,研究者称,这台超算的应用性能将是前一代的100倍,达到百亿亿次级,计划在2021年推出。 日本计算机巨头富士通(Fujitsu)和日本最大的研究机构理化学研究所(RIKEN,简称理研)已

量子加速超算简介

量子加速超算简介 有用的量子计算的发展是全球政府、企业和学术界的巨大努力。 量子计算的优势可以帮助解决世界上一些与材料模拟、气候建模、风险管理、供应链优化和生物信息学等应用相关的最具挑战性的问题。 要实现量子计算的优势,需要将量子计算机集成到现有的超级计算基础设施和科学计算工作流程中,并使领域科学家能够使用熟悉的语言和熟悉的工具对其进行编程。 这种工作流程的民主化以及强大且高性能的软件堆

超算互联网统一存储平台技术研究

大家好,我是来自山东省计算中心(国家超级计算济南中心)的王春晓,我从2022年开始参与超算互联网的项目,主要负责算网统一存储平台的研发,在存储基座方面也做了很多调研,最后选择了Alluxio平台,经过一年多的努力,也取得了一定的进展,非常感谢Alluxio公司提供的支持和帮助。 接下来我们将围绕超算互联网的主题,从三个方面和大家进行分享: (1)超算互联网建设中存在的问题和挑战; (2)超算

浪潮信息能制造超级计算机吗,浪潮信息基于移动式液冷技术,打造新型液冷超算方案...

当前,高性能的计算平台对于科研领域来说意义重大,为高校学科发展、科学研究以及人才培养提供了重要支撑。前不久,浪潮信息通过移动式液冷产品技术打造了新型液冷超算方案,助力西安交通大学在中国西部科技创新港(以下简称“创新港”)快速建设起领先的高性能计算公共服务平台,为西部科研创新及快速发展奠定了坚实的基础。 创新港是落实“一带一路”、创新驱动及西部大开发三大战略的重要平台,西安交大为了形成全校统一服

第54届超算TOP500排名,中美各自以数量和性能领先

在第54版TOP500排名中(2019.11发布),中国和美国尽管在不同类别中也保持了其统治地位。同时,基于高性能Linpack(HPL)基准的500个系统的总体性能持续提高至目前的1.65 exaflops。而且该列表的入门门槛从2019年6月发布的1.02 petaflops增加到1.14 petaflops。   排名靠前的超算系统 TOP500列表排名靠前的系统很大

ASC 17世界大学生超算大赛郑州开幕

2月16日,2017 ASC世界大学生超级计算机竞赛(ASC17)开幕式在郑州大学举行。ASC17共有来自世界各国的230支队伍参赛,他们将挑战世界最快超级计算机神威·太湖之光、人工智能、戈登·贝尔奖提名应用等赛题,争夺进入总决赛20强名额。包括两院院士、各大超算中心负责人、超级计算与人工智能专家及高校参赛队师生在内的数百位代表参加了此次仪式。 本届大赛参赛队伍数量再创新高,比

我国的超算中心、智算中心、数据中心有多少?在哪里?啥规模?

目前,全国国家超级计算中心有十座,分别位于天津、广州、长沙、深圳、济南、无锡、郑州、昆山、成都和西安,其中深圳和西安中心二期正在建设,文昌航天超算中心已进入建设尾声。 超算中心项目 2023年4月17日,科技部启动了国家超算互联网工作,旨在以互联网思维运营超算中心,构建一体化超算算力网络和服务平台。按照计划,到2025年底,国家超算互联网将形成技术先进、生态完善的总体布局。此外

效率达CPU一万倍、内含800万神经元:英特尔发布神经形态芯片超算

效率达CPU一万倍、内含800万神经元:英特尔发布神经形态芯片超算 人类大脑由 860 亿个互相连接的神经元组成,英特尔最近推出的类脑芯片系统 Pohoiki Beach 向「模拟大脑」这一目标前进了一大步,这是一个拥有 800 万人工神经元的计算机系统。据英特尔介绍,其组成芯片在 AI 任务中的速度是传统 CPU 的一千倍,能耗效率是一万倍。 英特尔还表示,类脑芯片越扩展效率越高,这是传

走向智能时代的引擎——联想发布智能超算深腾8810集群

2016年以来,人工智能已经从热门话题变得触手可及。根据统计到2020年,全球AI市场规模将达到1190亿元,年复合增长率高达19.7%,而在中国,人工智能市场2020年市场规模将达到91亿元,年复合增长率更是高达50%。 对于人工智能领域来说,计算、算法和数据是人工智能的三大基础,超算中心恰恰是提供强大计算力的最佳平台。在近日举办的联想全球超算峰会上,联想不仅在传统超算领域走在前沿,并在人工智

再创新高!蓝海创意云联手天河超算,打造新一代“青团平台”

近日,蓝海创意云与天河超算平台再度合作,推出了一款全新的渲染平台——“青团平台”,进一步提升了数字创意和设计领域的渲染效率。 下面就一起来看看碰撞出了什么样的火花吧! 1.什么是天河平台 “天河超算平台”是中国研制的一款超级计算机,目前已成为全球性能顶尖的计算机之一。这一庞大的计算平台采用的是独立研发的多模块体系结构,拥有超过百万的计算节点,能够以每秒几十亿亿次的速度处理复杂的科学和

成都超算中心首次亮相 填补西部超算体系布局空白

据成都市科技局6月11日发布的信息,成都“最强大脑”——成都超级计算中心首次亮相。在当天于成都举办的首届“超级计算创新应用天府论坛”上,相关负责人介绍说,成都超算中心于2019年12月18日开工,目前超算中心已正式进入全面加速建设阶段,将于2020年内建成投运。 “它旨在建成中国西部地区首个国家超级计算中心,是开展科学研究、技术研发和产业创新发展的新型基础设施项目。”相关负责人介绍说。 据介绍

如何查看超算上不同节点上CPU利用率、运行情况

CPU利用率查看方法 打开命令行,输入命令 ssh [节点名] # 可通过squeue确认节点名top # 查看cpu实时利用率 同时按Ctrl+C退出top检测界面。 再在命令行输入 exit 退出该节点。 查询自己的作业运行的节点名 打开命令好,输入命令 squeue 在nodelist里可以看到自己作业运行的节点名

【智慧地球】星图地球 | 星图地球超算数据工场

当前空天信息处理涉及并发并行的大量计算问题,需要高性能计算、智能计算联合调度,以此来实现多算力融合;而我国算力产业规模快速增长,超算算力资源正需要以任务驱动来统筹。 基于此,中科星图与郑州中心展开紧密合作,依托郑州中心构建了星图地球超算数据工场,打通了空天信息行业与算力基础设施,盘活了存量资源,保证了数据处理的安全性和高效性,有效促进了卫星遥感数据在千行百业的高效应用。 原视频链接 ▲星

仿人脑超算“深南”即将面世,突破摩尔定律;ChatGPT 变笨有了新解释丨 RTE 开发者日报 Vol.117

开发者朋友们大家好: 这里是 「RTE 开发者日报」 ,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE (Real Time Engagement) 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。 本期编辑:@Asui,@CY 01有话题的新闻

我国自主研发的 超级计算机曾经,“天河一号A”:国家超算天津中心_Intel Xeon X5670_服务器评测与技术-中关村在线...

“天河一号A”超级计算机曾经获得2010年全球超级计算机性能排名第一的殊荣,它也是我国首台千万亿次超级计算机“天河一号”的升级版。“天河一号A”由国防科学技术大学研制,基于英特尔至强X5670六核芯片(2.93GHz主频)和NVIDIA Tesla M2050高性能计算卡以及2048颗我国自主研发的飞腾FT-1000八核心处理器构建。 该超级计算机峰值性能为2566万亿次。内核数量总共为1863

阿里云何万青:搭建首个全球云上超算中心_做超算能力的普惠者

想不想知道是什么 阿里云上线了新的异构计算实例和高性能计算平台,引发行业关注。这件事,把以往各国专家争相登顶的高性能计算能力“珠峰”,变成普惠覆盖的“青藏高原”。这个高性能计算平台背后的团队带头人、超算专家何万青,带着十几年超算生涯的积淀,用半年时间闪电开发云端超算中心,他是怎么做到的? 曾经,超算在中国可望而不可及。2005年,何万青开始在英特尔组建高性能计算团队,那时

阿里云何万青:搭建首个全球云上超算中心,做超算能力的普惠者

点击查看全文   随后,在中国科学家的努力下,超级计算机“天河2号”连赢了6届冠军,中国逐渐取得了科技领先的地位。   超算中心的竞赛,就是计算界的奥运会。奥运会上,各国都在争世界第一。参与了多年计算“奥运会”的何万青发现,连赢很多届“奥运会”后,大家不会再看金牌数,而是会关注到“全民健身”程度。   此时,人工智能浪潮催生的计算迭代需求,早已超过摩尔定律。摩尔定

高新园区云计算机大厦,合肥超猛!九区900大项目曝光,中央CBD、超算中心来了!滨湖、高新、新站彻底爆发!...

重磅好消息! 安徽省2020年重点项目名单全公布 合肥915个大项目全面建设! 滨湖、政务、高新、经开、新站... 九区全面爆发! 一、滨湖&包河区 滨湖、包河区2020大项目九区多 共有101个大项目 重点在城建、生活方面。 地铁5号线南段年底开通 5号线全线也将分南北两段开通, 南段贵阳路站——祁门路站2020.12开通; 北段桐城南路站——汲桥路站2021.6开通。 地铁4号线 4号

科技分享:盖储超算「减碳·产热」“助力碳达峰”

“碳达峰”是指二氧化碳年总量的排放在某一个时期达到历史最高值,达到峰值之后逐步降低。当在一定时期内,通过植树、节能减排、碳捕集、碳封存等方式抵消人为产生的二氧化碳,实现二氧化碳净排放为零,也就实现了“碳中和”。所以,绿色经济才是人类发展的潮流,同时也已经成为全世界的共识。 盖储集团率先推出“绿数据·真科技”理念,盖储超算将全力护航数据中心稳定运行和绿色低碳,加速推进绿色的分布式储能建设,全面

GPT-4 Turbo 发布 | 大模型训练的新时代:超算互联网的调度与调优

★OpenAI;ChatGPT;Sam Altman;Assistance API;GPT4 Turbo;DALL-E 3;多模态交互;算力调度;算力调优;大模型训练;GH200;snowflake;AGI;AIGC;H100;A100;DGX Cloud 集群;Base Command;GPU算力;华为 Atlas 900 集群;NVIDIA NVLink;开发者大会 北京时间11月7日

ASC20-21世界大学生超算竞赛落幕,暨南、清华分获冠亚军

5月12日, 2020-2021 ASC世界大学生超级计算机竞赛(ASC20-21)总决赛在南方科技大学落下帷幕,在现场竞赛中,暨南大学、清华大学分别获得冠亚军,e Prize计算挑战奖和最高计算性能奖分别由清华大学和中山大学获得,其他多队也取得不俗佳绩。 ASC20-21超算大赛由亚洲超算协会、南方科技大学和浪潮集团联合举办,共有全球300余支高校代表队报名参加,经过预赛选拔有28支队伍晋级总

中科院计算机网络信息中心超算中心,中国科学技术大学超级计算中心

2015年7月2日,中国科学院计算机网络信息中心组织验收专家组在中国科学技术大学召开了“中国科学院超级计算环境合肥分中心建设(重组)”项目验收会。 会议由中国科学院计算机网络信息中心副主任迟学斌主持,中国科学院条件保障与财务局信息化工作处主管褚大伟等列席会议。王晓平校长助理代表学校致辞,感谢中国科学院主管部门和专家对本次合肥超算分中心(重组)建设项目工作的大力支持。 验收专家组由中国科学院计算

都是纯自主CPU:战斗民族超算性能被国产碾压

俄罗斯作为一个战斗的民族,同时也是我们重要邻国,一举一动都会影响到祖国同胞的心情。 继印度、俄罗斯和中国相继计划研发基于Sailfish的自主操作系统后,战斗民族再次爆出,基于俄罗斯计算机制造公司T-Platforms的自主研发的处理器Baikal-T1(贝加尔-T1)处理器采用了英国公司Imagination Technologies授权的技术,由台湾公司代工生产。   T-Platform

国内首个温水水冷超算平台落户北大,联想HPC加速AI布局

作为国内高性能计算(High Performance Computing,简称HPC)领域的领头羊,联想最近动作频频。继2017年11月在SC17全球超级计算大会上夺得中国第一、全球第二的好成绩后,2018年伊始,联想HPC又携手北京大学,用高性能计算系统打造高校的基础科研计算平台。 1月3日,国内首个温水水冷高性能计算校级公共平台——北京大学高性能计算校级公共平台“未名一号”正式启用。该平台