首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
jobhistory专题
hadoop,spark,yarn,jobhistory等用到的一些WEB界面
http://192.168.244.100:19888 日志聚合的界面jobhistory,可以看到每个job的分配情况,maptask的分配到哪个节点,及完成情况需要在hadoop的sbin下执行如下命令 mr-jobhistory-daemon.sh start historyserver http://192.168.244.100:50070 hadoop的web界面 http:
阅读更多...
hadoop 日志聚合 jobhistory配置
一、前言 安装了hadoop-2.7.3集群,登陆YARN WEB界面,发现下图mapreduce应用UI入口都无法使用,现记录下处理方案 二、处理方案 1.yarn-site.xml配置yarn.resourcemanager.webapp.address,如果没配置ApplicationMaster入口无法使用 <property> <name>yarn.resou
阅读更多...
Hadoop配置日志的聚集——jobhistory不显示任务问题
问题: 一开始job history是正常的,配置了日志的聚集以后不管做什么任务都不显示任务,hdfs是正常运行,而且根据配置步骤都重启过了。 下面先po出日志聚集的操作步骤,再讲问题 1.配置yarn-site.xml cd $HADOOP_HOME/etc/hadoop vim yarn-site.xml 添加如下代码 <!-- 开启日志聚集功能 --><property><
阅读更多...
MapReduce的jobHistory(工作日志)介绍
前言: 我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行,关于运行的日志,我们一般都需要通过启动一个服务来进行查看,就是我们的JobHistoryServer,我们可以启动一个进程,专门用于查看我们的任务提交的日志 以下的操作都是在主节点(服务器)中 第一步:node01修改mapred-site.xml 1.进入到hadoop配置文件目录 hadoop安装目
阅读更多...