jobtracker专题

namenode和jobTracker进程没起来的原因

namenode和jobTracker进程没起来的原因有许多种:  1、启动时没有先格式化; 2、4个配置文件没有配置正确; 3、hostnaame与ip没有绑定; 4、ssh免密码登陆没有配置成功; 5、多次格式化hadoop造成的错误; (其中由多次格式化造成的错误,可以通过删除/usr/local/hadoop/tmp 的hadoop的临时文件,然后重新格式化来解决。)

【Mapred】 JobTracker 内部类RecoveryManager简介(下)

接上一篇,jt在offerService方法中执行作业recovery操作,需要注意的是,下面介绍的recovery操作是在jt的rpc server启动之前,即jt对外提供服务之前。 记得十一节前排查发现ecomon集群堆积4000个待恢复作业时还搞不清楚为啥有问题,通过下面的介绍就可以发现,恢复那么多的作业,jt启动之后很长时间将不能提供服务。 recovery的过程其实也不复杂,简单来讲

【Mapred】 JobTracker 内部类RecoveryManager简介(上)

Hadoop1.0.3版本 一直知道jobtracker有任务恢复、作业重跑功能等,那么jobtracker是如何实现的呢? 今天通过对jobtracker启动过程的跟踪,来一探究竟。 jobtracker有一个内部类叫做RecoveryManager ,同时jobtracker有个私有成员: RecoveryManager recoveryManager; 在初始化的时候,对其构造: r

JobTracker任务调度器之JobQueueTaskScheduler

JobTracker任务调度器之JobQueueTaskScheduler 本篇文章来源于 Linux公社网站(www.linuxidc.com)  原文链接:http://www.linuxidc.com/Linux/2012-01/50857.htm     在客户端把作业提交给JobTracker之后,JobTracker就需要开始考虑把这个Job交给那些TaskTracker来