宗老师尖端技术-AI系统高可用方案

2023-10-10 08:44

本文主要是介绍宗老师尖端技术-AI系统高可用方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

高可用设计在AI系统中是不可或缺的功能,往往体现在系统设计的各个层面。

作业维度:作为调度系统,必须保证每一个提交进去的作业被正确执行,作业运行过程中很有可能因为各种原因发生错误,首先需要做的就是本地Retry,当本地Retry到一定次数后需要考虑Host环境因素由调度系统调度到其它机器进行Retry,如果再次失败到一定次数,可以标记Task为Fail。另外,对于支持检查点的作业(checkpoint),调度系统提供接口支持定期对作业进行checkpoint,方便作业及时恢复和迁移,对于不支持检查点的作业,调度系统对每个作业的运行状态记录相应的events,当调度系统重启后,能根据events恢复作业的运行状态,确保作业的正常运行;

GPU维度:AI计算使用的GPU一般都是高端显卡,功耗有比较大,在测试和应用场景中经常会发生GPU无法使用的作业,当一些作业连续在同一个GPU上失败后,调度系统需要将该GPU标记,并在后续的调度中排除该GPU的使用,确保作业能正常的运行;

节点维度:类似于GPU维度,调度系统如果检测到计算主机不可用,需要将该主机上目前运行的任务重新分配到其它计算节点继续执行,将该计算主机标记并排除到后续的调度中,同时当该主机恢复后能继续加入到计算列表中进行任务分配;

Scheduler维度:Scheduler具有Master scheduler和Slave Scheduler,通过ETCD选举Leader进行调度,Scheduler需要启动多于3个节点,当Master Scheduler进程离线后,ETCD可以确保选出一个新的Mastre scheduler接管当前的调度任务,同时Master Scheduler需要实时同步当前资源分配计划到ETCD cluster,在新的Scheduler启动后快速从ETCD同步数据恢复现场,保证集群可用性。

Fixed Workers:系统中只要有可用资源就优先分配足额的worker数量,这些worker是pre-start,以最快的速度来处理session中提交过来的计算作业,确保用户的计算作业能及时得到处理,保证作业处理的实时性;

Dynamic Share Ratio:当fixed workers配置的资源不能满足作业的计算需求,导致session中pending作业较多的时候,通过配置dynamic share ratio,按照配置的资源使用份额,申请额外的worker来加速处理当前session,所有session中的pending作业竞争按照share ratio比重分配可用资源。

一个完整的人工智能应用,在一个流程中可能会用到好几个模型算法,为了能快速适用于不同客户的AI需求而不用频繁修改代码,需要能快速组织出一个新的流程,类似于集群和容器的编排,算法编排用于快速定义一个机器学习程序的计算流程以实现一个完整的商业需求。

将不同的算法功能模块抽象为公共算法模块,这些算法模块组织成流水线来完成一个完整的算法输入和输出。输入参数为采集过来或者实时的原始数据,比如文本、视频、图片和视频流等,输出就是具体检测跟踪或者提取的结构化数据,可以用来存储到关系型数据库或者NoSQL数据库。

通过模型编排组织起来的算法流水线能够以最快的速度进行AI处理,可以极大提高AI产品的实时性和性能。

这篇关于宗老师尖端技术-AI系统高可用方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/179344

相关文章

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

Java嵌套for循环优化方案分享

《Java嵌套for循环优化方案分享》介绍了Java中嵌套for循环的优化方法,包括减少循环次数、合并循环、使用更高效的数据结构、并行处理、预处理和缓存、算法优化、尽量减少对象创建以及本地变量优化,通... 目录Java 嵌套 for 循环优化方案1. 减少循环次数2. 合并循环3. 使用更高效的数据结构4

Spring AI集成DeepSeek三步搞定Java智能应用的详细过程

《SpringAI集成DeepSeek三步搞定Java智能应用的详细过程》本文介绍了如何使用SpringAI集成DeepSeek,一个国内顶尖的多模态大模型,SpringAI提供了一套统一的接口,简... 目录DeepSeek 介绍Spring AI 是什么?Spring AI 的主要功能包括1、环境准备2

Spring AI集成DeepSeek实现流式输出的操作方法

《SpringAI集成DeepSeek实现流式输出的操作方法》本文介绍了如何在SpringBoot中使用Sse(Server-SentEvents)技术实现流式输出,后端使用SpringMVC中的S... 目录一、后端代码二、前端代码三、运行项目小天有话说题外话参考资料前面一篇文章我们实现了《Spring

Spring AI与DeepSeek实战一之快速打造智能对话应用

《SpringAI与DeepSeek实战一之快速打造智能对话应用》本文详细介绍了如何通过SpringAI框架集成DeepSeek大模型,实现普通对话和流式对话功能,步骤包括申请API-KEY、项目搭... 目录一、概述二、申请DeepSeek的API-KEY三、项目搭建3.1. 开发环境要求3.2. mav

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题

Vue中动态权限到按钮的完整实现方案详解

《Vue中动态权限到按钮的完整实现方案详解》这篇文章主要为大家详细介绍了Vue如何在现有方案的基础上加入对路由的增、删、改、查权限控制,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、数据库设计扩展1.1 修改路由表(routes)1.2 修改角色与路由权限表(role_routes)二、后端接口设计

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

CSS3 最强二维布局系统之Grid 网格布局

《CSS3最强二维布局系统之Grid网格布局》CS3的Grid网格布局是目前最强的二维布局系统,可以同时对列和行进行处理,将网页划分成一个个网格,可以任意组合不同的网格,做出各种各样的布局,本文介... 深入学习 css3 目前最强大的布局系统 Grid 网格布局Grid 网格布局的基本认识Grid 网

Spring AI集成DeepSeek的详细步骤

《SpringAI集成DeepSeek的详细步骤》DeepSeek作为一款卓越的国产AI模型,越来越多的公司考虑在自己的应用中集成,对于Java应用来说,我们可以借助SpringAI集成DeepSe... 目录DeepSeek 介绍Spring AI 是什么?1、环境准备2、构建项目2.1、pom依赖2.2