核技术专题

分布式训练硬核技术——通讯原语

针对分布式训练服务器的集群进行架构设计,是为了更好地解决机器学习中分布式训练中的通讯问题。目前机器学习中主要由两种分布式架构: 参数服务器架构(Parameter Server,PS)去中心化架构(Decentralized Network) 其中,分布式训练通常在计算集群上进行,集群的每个节点分别执行一部分计算。不同节点的计算之间有数据依赖和共享,需要将数据在不同节点间传输,这就是通

马上消费金融CIO蒋宁:拨云见日,金融行业大模型落地三大真核技术

“大模型”不是新东西。 在这波大模型热潮之前,工业界便已存在各种规模的模型。但由于工业领域大多涉及关键决策,实际应用时较为慎重。 有了大模型的加持,工业界的人工智能应用,迎来了全新的契机。但在这个群“模”乱舞的时代,大模型离工业界大规模应用还有多远?有哪些亟待突破的真正的核心技术? 带着这些问题,我们希望借WAIC 2023 全球人工智能大会举办的机会,找到一家一线的工业界实践者,探寻其中的