本文主要是介绍HPC集群是什么?百度智能云CHPC给出答案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
高性能计算(HPC)集群指运行高性能计算的节点集合,一个 HPC 集群可能包含数十到数千台计算节点。HPC 集群可以提供单节点不能提供的强大计算能力,拥有高性能、弹性扩展、稳定可靠等优点。HPC集群能够提供远超单个计算机的处理能力,因此非常适合需要大量计算资源和数据处理的任务。
本文将简单介绍集群涉及的基本概念和百度智能云 CHPC 的功能。
一. 集群类型
集群可以根据其部署和管理方式大致分为几种类型,特别是在云计算环境中,集群类型主要包括公有云集群、私有云集群和混合云集群。下面,我将介绍公有云集群和混合云集群的概念、功能以及它们的优势。
1.公有云集群
公有云集群是指在公有云平台上部署的集群资源,这些资源由第三方云服务提供商(如百度智能云、腾讯云、天翼云等等)管理和维护。用户通过互联网连接到这些资源,并按需支付使用费用。
-
弹性扩展:用户可以根据需求快速增加或减少计算资源,高度可扩展和灵活,适合需求波动大的应用。
-
成本效率:只需为实际使用的资源付费,维护和升级由云服务提供商负责,减轻了企业的IT管理负担,避免了本地数据中心的前期投资和维护成本。
-
全球访问:用户可以在全球任何地点访问公有云服务。
-
多样的服务和工具:公有云通常提供广泛的服务和管理工具,帮助用户轻松管理和部署应用。
2.私有云集群
私有云集群是部署在企业内部或专门设施中的云计算资源,这些资源完全由企业自己控制和管理。私有云提供了对硬件、数据存储和网络的完全控制,通常用于处理敏感数据或满足特定的业务需求。
-
高安全性需求:对于那些处理敏感数据或需遵守严格隐私政策的企业,如金融机构、医疗保健提供者和政府机构,他们通常选择私有云以确保数据安全和合规。
-
特定的业务应用:某些企业可能需要为特定的业务应用定制云环境,以支持特定的操作系统或应用程序配置,私有云提供了必要的可定制性。
-
大数据处理和分析:企业需要处理和分析大量的敏感数据时,私有云可以提供必要的计算能力和数据保护。
-
技术控制和独立性:对于希望完全控制其 IT 基础设施的企业,私有云提供隔离的环境,使得企业能够自主决定技术更新周期、数据管理策略和安全措施。
3.混合云集群
混合云集群结合了私有云和公有云的特点,允许数据和应用程序在两者之间移动,为企业提供更大的灵活性和数据部署选项。
在传统的 IT 投资思路下,企业通过自建 HPC 集群满足业务需求,这导致了巨大的设备采购、维护和更新成本。百度智能云 CHPC 提供了混合云 HPC 集群能力,可以帮助企业统一纳管本地和多云 HPC 集群。企业可以将最关键的任务提交至使用最新一代硬件资源的云上 HPC 集群中,使得这些应用处于最佳运行状态。
-
灵活扩展:混合云集群提供公有云的灵活性和扩展性,同时保留私有云的控制权和安全性。
-
资源最优配置:允许企业灵活应对变化,实现 IT 资源的最优配置。
-
成本优化:根据计算需求的重要性和敏感性,智能地分配资源,优化成本。
-
安全性和合规性:敏感数据可以在私有云中处理,以满足安全和合规要求,而其他不敏感的处理可以利用公有云的高扩展性和成本效率。
二. 百度智能云 CHPC
在云高性能计算平台 CHPC 集群中的每个节点是一台 BCC 实例。一个 HPC 集群可能包含数十到数千台计算节点。
按节点功能分类,可以分为 登录及管控节点、计算节点。各节点功能如下表所示:
1.登录及管控节点
用于远程登录集群,进行操作包括软件调试、编译和安装,以及作业提交等。
用于管理集群,部署调度服务和域账号服务。
-
调度服务:主要作用是运行 Slurm 等调度工具的服务端,处理作业提交、管理调度等。
-
域账号服务:集中管理 CHPC 集群内用户信息。
重要:管控节点负责作业的管理调度和域账号解析,在管控节点谨慎进行编译软件、上传下载打包数据等操作,以免影响业务稳定性。
2.计算节点
用于执行高性能计算作业的节点。
对于不同规模的集群,建议的管控节点配置和作业执行数量如下:
2.1 调度器
调度器是集群上调度作业的软件。CHPC支持的调度器如下:
2.2 域账号服务
域账号服务用于管理集群用户。
CHPC 支持 LDAP 域账号服务:
-
LDAP:轻型目录访问协议(Lightweight Directory Access Protocol),在 CHPC 中,LDAP 被用来对用户进行身份权限认证。您可以在 LDAP 中对用户进行授权,分组,以创建具有不同的访问权限的用户。
2.3 共享存储
CHPC 集群的用户数据、调度器信息、作业共享数据等信息均会存储在文件系统,以供集群所有节点共享访问。
CHPC 支持支持 CPFS-NFS 方式挂载 CFS 文件系统。
2.4 用户
创建集群用户后,您才能在集群上提交、调试、运行作业。您可以创建两种不同权限的用户来使用集群。
-
普通权限组:适用于只有提交、调试作业需求的普通用户。
-
sudo 权限组:适用于需要管理集群的管理员,除提交、调试作业外,还可以执行 sudo 命令进行安装软件、重启节点等操作。
-
重要 root 用户仅能在创建集群时初始化创建,不推荐使用 root 用户提交任何作业,避免作业脚本中的误操作导致 CHPC 集群数据遭受破坏。 更多信息,请参见创建用户。
2.5 集群状态
-
创建中:集群创建初始状态,对应 BCC 实例创建和安装软件状态。
-
运行中:集群创建完成后处于正常可用状态。
-
异常:当管理节点被删除或停止、调度器软件退出时,集群状态为异常。您可以尝试修复集群,若修复无效后,请提交工单。
-
释放中:集群在停机释放过程中。
欢迎大家了解 CHPC
这篇关于HPC集群是什么?百度智能云CHPC给出答案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!