首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
recoverymanager专题
【Mapred】 JobTracker 内部类RecoveryManager简介(下)
接上一篇,jt在offerService方法中执行作业recovery操作,需要注意的是,下面介绍的recovery操作是在jt的rpc server启动之前,即jt对外提供服务之前。 记得十一节前排查发现ecomon集群堆积4000个待恢复作业时还搞不清楚为啥有问题,通过下面的介绍就可以发现,恢复那么多的作业,jt启动之后很长时间将不能提供服务。 recovery的过程其实也不复杂,简单来讲
阅读更多...
【Mapred】 JobTracker 内部类RecoveryManager简介(上)
Hadoop1.0.3版本 一直知道jobtracker有任务恢复、作业重跑功能等,那么jobtracker是如何实现的呢? 今天通过对jobtracker启动过程的跟踪,来一探究竟。 jobtracker有一个内部类叫做RecoveryManager ,同时jobtracker有个私有成员: RecoveryManager recoveryManager; 在初始化的时候,对其构造: r
阅读更多...