天云软件SkyForm AIP携手齐鲁工业大学 构建高性能数据分析平台

本文主要是介绍天云软件SkyForm AIP携手齐鲁工业大学 构建高性能数据分析平台,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  高性能计算机和计算中心已经越来越多的作为“基建”设施被各大高校争先引入。

近年来,国家对于高新技术自主研发的重视已经上升到了国家战略层面,高校作为国家未来人才储备,科研成果最多的单位之一,国家对其投入也在逐年加大。教学设施的优化与科研配套设备对于高校教研工作者来说尤为重要。在众多科研设备中,高性能计算机和计算中心已经越来越多的作为“基建”设施被各大高校争先引入。
在这里插入图片描述

齐鲁工业大学作为山东省重点建设的应用研究型大学、山东省综合性自然科学研究机构以及山东省属高校高水平大学,紧随国家科技兴国的发展战略,提前布局高性能计算基础设施,为教学、科研、行业应用等多种应用场景提供完善的融合服务平台。尤其是在人工智能方向,校方迫切需要搭建自己的高性能数据分析集群,帮助在校老师及学生完成在人工智能领域的开发、模型训练教学以及科研任务。

人工智能领域的探索需要强大的算力支撑,高性能数据分析集群是不可或缺的基础设施。它不仅需要良好的硬件支撑和友好的应用软件,更需要能把性能发挥到最大化的中台系统——“集群资源管理和调度软件”。所谓集群资源管理和调度软件就是协调底层硬件资源与应用层软件的中枢系统,好比一个繁忙十字路口的红绿灯,它可缓解拥堵的道路交通,并最大化提升道路运输能力,这就是高性能计算中资源管理和调度软件的作用。没有它的管理,会造成用户的任务大量冲突, IT资源大量浪费,导致科研项目进度大大降低。常规的开源软件如基于容器技术的Kubernetes使用和维护门槛较高,需要使用者熟悉容器的制作和使用,运行和维护也缺乏代码开发者的直接支持。

天云软件与合作伙伴一起积极听取校方的需求与意见,从校方的使用场景出发,根据多年的服务经验和高性能计算、高性能数据分析管理调度软件的技术积累,基于天云自主的高性能计算管理和调度系统SkyForm AIP设计出了一套适合于高校的高性能数据分析平台。重点提升对GPU资源的调度、使用和监控,实现完全云模式的操作流程,让老师和学生们可以像在本地一样远程可视化使用应用。调度软件不仅有效为模型训练任务分配GPU,还可监控GPU实际的使用情况,对已分配GPU后不使用以及随意使用未经调度分配的GPU的任务,将会根据规则自动处理,这样极大的提高了GPU和集群其他资源的利用率,让老师和同学们把精力集中在人工智能的科研和教学上,而不需要花费大量精力去学习和处理容器、操作系统命令等复杂的IT问题。
在这里插入图片描述

当然项目也并非进行的一帆风顺。在最初的高性能数据分析集群部署完成后,同学们争先恐后的登录平台,想在平台上尽快建立自己的研究项目,但这也引发了一个问题——稀缺的GPU资源长时间被某些用户长时间占用,导致其他人无法使用。天云软件的技术团队迅速作出反应,对软件产品进行了改进。首先对用户任务类型分类,通过限制登录时间和资源分配,有效释放平台紧俏资源;其次为防止资源分配冲突,对系统监控功能进行了重点升级,使得调度系统在监控下对资源分配得当,效率倍增;最后为了进一步提高整体系统安全性,天云软件技术团队对图形应用内网端口动态端口做了统一映射到一个固定端口,用户通过网关访问系统,直接打开浏览器输入登录,安全便捷。齐鲁工业大学计算机科学与技术学院姜文峰老师说:“平台最开始确实有些使用问题,经过一段时间的磨合后,天云软件逐步完善切实可行的升级方案,并为我们定制化开发了多项配套实用功能,他们不仅能够快速响应,还专门建立了技术运维社群,7*24全天候在线处理突发问题,这样的服务令我们非常满意,目前碰到的问题都已妥善的解决,这个平台对于我们学校的科研教学工作起到了很大的帮助。”

天云软件与合作伙伴通力合作克服了项目实施中的诸多难点,为齐鲁工业大学搭建了一个模块化、便捷、可靠且可扩展的高新能数据分析平台。经过近两年的使用和与运维团队的紧密配合,系统运行稳定,资源效率实使用大幅提高,为校方教学、科研项目提供了良好的技术支撑,得到了老师同学们的一致好评。

这篇关于天云软件SkyForm AIP携手齐鲁工业大学 构建高性能数据分析平台的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/328829

相关文章

一文详解如何从零构建Spring Boot Starter并实现整合

《一文详解如何从零构建SpringBootStarter并实现整合》SpringBoot是一个开源的Java基础框架,用于创建独立、生产级的基于Spring框架的应用程序,:本文主要介绍如何从... 目录一、Spring Boot Starter的核心价值二、Starter项目创建全流程2.1 项目初始化(

使用Java实现通用树形结构构建工具类

《使用Java实现通用树形结构构建工具类》这篇文章主要为大家详细介绍了如何使用Java实现通用树形结构构建工具类,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录完整代码一、设计思想与核心功能二、核心实现原理1. 数据结构准备阶段2. 循环依赖检测算法3. 树形结构构建4. 搜索子

使用Python和python-pptx构建Markdown到PowerPoint转换器

《使用Python和python-pptx构建Markdown到PowerPoint转换器》在这篇博客中,我们将深入分析一个使用Python开发的应用程序,该程序可以将Markdown文件转换为Pow... 目录引言应用概述代码结构与分析1. 类定义与初始化2. 事件处理3. Markdown 处理4. 转

Java使用Mail构建邮件功能的完整指南

《Java使用Mail构建邮件功能的完整指南》JavaMailAPI是一个功能强大的工具,它可以帮助开发者轻松实现邮件的发送与接收功能,本文将介绍如何使用JavaMail发送和接收邮件,希望对大家有所... 目录1、简述2、主要特点3、发送样例3.1 发送纯文本邮件3.2 发送 html 邮件3.3 发送带

Python结合Flask框架构建一个简易的远程控制系统

《Python结合Flask框架构建一个简易的远程控制系统》这篇文章主要为大家详细介绍了如何使用Python与Flask框架构建一个简易的远程控制系统,能够远程执行操作命令(如关机、重启、锁屏等),还... 目录1.概述2.功能使用系统命令执行实时屏幕监控3. BUG修复过程1. Authorization

nginx-rtmp-module构建流媒体直播服务器实战指南

《nginx-rtmp-module构建流媒体直播服务器实战指南》本文主要介绍了nginx-rtmp-module构建流媒体直播服务器实战指南,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. RTMP协议介绍与应用RTMP协议的原理RTMP协议的应用RTMP与现代流媒体技术的关系2

Go语言使用Buffer实现高性能处理字节和字符

《Go语言使用Buffer实现高性能处理字节和字符》在Go中,bytes.Buffer是一个非常高效的类型,用于处理字节数据的读写操作,本文将详细介绍一下如何使用Buffer实现高性能处理字节和... 目录1. bytes.Buffer 的基本用法1.1. 创建和初始化 Buffer1.2. 使用 Writ

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

Golang使用etcd构建分布式锁的示例分享

《Golang使用etcd构建分布式锁的示例分享》在本教程中,我们将学习如何使用Go和etcd构建分布式锁系统,分布式锁系统对于管理对分布式系统中共享资源的并发访问至关重要,它有助于维护一致性,防止竞... 目录引言环境准备新建Go项目实现加锁和解锁功能测试分布式锁重构实现失败重试总结引言我们将使用Go作

Ubuntu 怎么启用 Universe 和 Multiverse 软件源?

《Ubuntu怎么启用Universe和Multiverse软件源?》在Ubuntu中,软件源是用于获取和安装软件的服务器,通过设置和管理软件源,您可以确保系统能够从可靠的来源获取最新的软件... Ubuntu 是一款广受认可且声誉良好的开源操作系统,允许用户通过其庞大的软件包来定制和增强计算体验。这些软件