导读 / Introduction 11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30

作者：来自 vivo 互联网服务器团队 本文根据甘青、黄荣杰老师在“2023 vivo开发者大会"现场演讲内容整理而成。 伴随 vivo 互联网业务的高速发展，数据中心的规模不断扩大，成本问题日益突出。在离线混部技术可以在保证服务质量的同时，极大的提升数据中心资源利用率，降低成本。混部技术涉及任务调度、资源隔离、运维观测等一系列技术难题，本文将介绍 vivo 在混部技术方面的实践

前言概述 在上一篇文章中，我们讲到了大数据离在线混部的架构模式，同时也整体回顾了一下大数据架构的演变历程，概括性的来看，从数据处理范式中更多的是做批流一体、存算分离等方向演进，这种能力可以视为整个平台或者业务支撑的底层架构支撑，然后，在架构之上，还有关于组件选型、资源调度、监控运维等等相关的设计工作，然后在上层作为和业务开发关联最密切的平台， 会涉及到数据处理、元数据管理、数据集成等平台架构，这

作者：宋泽辉（小红书）、张佐玮（阿里云） 编者按： Koordinator 是一个开源项目，是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生，是行业首个生产可用、面向大规模场景的开源混部系统，致力于提升应用服务质量，优化资源使用效率。自 2022 年 4 月正式开源以来，吸引了业界众多优秀工程师的贡献参与和讨论。 小红书是 Koordinator 社区的活跃成员，自项目诞生初期就深度参与

作者：宋泽辉（小红书）、张佐玮（阿里云） 编者按： Koordinator 是一个开源项目，是基于阿里巴巴内部多年容器调度、混部实践经验孵化诞生，是行业首个生产可用、面向大规模场景的开源混部系统，致力于提升应用服务质量，优化资源使用效率。自 2022 年 4 月正式开源以来，吸引了业界众多优秀工程师的贡献参与和讨论。 小红书是 Koordinator 社区的活跃成员，自项目诞生初期就深度参与

作者：索增增（小红书）、宋泽辉（小红书）、张佐玮（阿里云） 背景介绍 Koordinator 是一个开源项目，基于阿里巴巴在容器调度领域多年累积的经验孵化诞生，目前已经支持了 K8s 生态内的在离线混部，然而在 K8s 生态外，仍有相当数量的用户会将大数据任务运行在 Apache Hadoop YARN [ 1] 这类资源管理系统中。虽然目前一些计算引擎提供了 K8s operator，将任务

作者 蒋彪，腾讯云高级工程师，10+年专注于操作系统相关技术，Linux内核资深发烧友。目前负责腾讯云原生OS的研发，以及OS/虚拟化的性能优化工作。 导语 混部，通常指在离线混部(也有离在线混部之说)，意指通过将在线业务(通常为延迟敏感型高优先级任务)和离线任务(通常为 CPU 消耗型低优先级任务)同时混合部署在同一个节点上，以期提升节点的资源利用率。其中的关键难点在于底层资源隔离技术，严

定义：集群管理系统； 作用：发挥空闲资源更大价值； 产品： 国外：Borg, Twine, Protean, Mesos, YARN and K8S； 国内：Caelus（腾讯），Koordinator（阿里），百度。 原理： 设计原则： 1.容器引擎 2.实例管理 3.镜像管理 4.资源调度 5.隔离技术 6.混部策略 开源研究： 阿里koordinator： G

现实与梦想   阿里集团搜索在线集群非大促部署下CPU利用率日均值不高，除了少部分国际业务流量全天相对比较稳定外，国内在线业务流量全天有明显的波峰波谷现象，集团内以及蚂蚁等的业务大多如此。虽然搜索2015年就基于T4(阿里开源容器技术Pouch前身)实现了如索引构建这种离线任务和在线混部，但是因为当时资源隔离上还不够完善，部分延时特别敏感的业务不敢与之混部，没能充分利用闲置的CPU处理能力。反观