本文主要是介绍助力成本优化,腾讯全场景在离线混部系统Caelus正式开源,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
导读 / Introduction
11月4日,在2021腾讯数字生态大会上,腾讯正式宣布开源全场景在离线混部系统Caelus。
Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发,旨在解决大数据资源缺口问题,通过Caelus在离线混部,扩充大数据任务可用资源,发挥空闲资源更大价值。在腾讯内部,Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务,平均提升30% 资源利用率,节省了上亿成本。
近年来,随着互联网业务的发展,大数据类任务的资源需求呈指数级增长,资源成本问题突出。但各大权威机构的调研数据显示行业目前在线资源利用率普遍很低,平均维持在15%左右,资源浪费严重。对此,业内一直在进行诸多探索,在线离线混部被认为是解决该问题的终极方案。
由于很多大数据任务具有实时性要求不高、运行时间较短、使用碎片资源等特点,而在线应用的资源使用通常具有潮汐的特点,因此大数据任务比较适合复用在线应用的空闲资源,但混部也面临诸多核心技术难题,具体包括:
- 大部分混部系统只针对云原生场景,无法利用大量非容器化的在线空闲资源;
- 部分混部方案要求大数据必须云原生化改造,增加了依赖条件;
- 资源复用在粒度、灵活性、时间等方面策略都不够精细,导致利用率不高;
- 缺乏比较好的干扰检测机制,导
这篇关于助力成本优化,腾讯全场景在离线混部系统Caelus正式开源的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!