mapred-site.xml里面配置运行日志的输出目录

2024-03-18 20:32

本文主要是介绍mapred-site.xml里面配置运行日志的输出目录,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

用hadoop也算有一段时间了,一直没有注意过hadoop运行过程中,产生的数据日志,比如说System打印的日志,或者是log4j,slf4j等记录的日志,存放在哪里,日志信息的重要性,在这里散仙就不用多说了,调试任何程序基本上都得需要分析日志。

hadoop的日志主要是MapReduce程序,运行过程中,产生的一些数据日志,除了系统的日志外,还包含一些我们自己在测试时候,或者线上环境输出的日志,这部分日志通常会被放在userlogs这个文件夹下面,我们可以在mapred-site.xml里面配置运行日志的输出目录,散仙测试文件内容如下:

Xml代码 复制代码  收藏代码
  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3.   
  4. <!-- Put site-specific property overrides in this file. -->  
  5.   
  6. <configuration>  
  7. <!-- jobtracker的master地址-->  
  8. <property>   
  9. <name>mapred.job.tracker</name>   
  10. <value>192.168.75.130:9001</value>   
  11. </property>  
  12. <property>  
  13. <!-- hadoop的日志输出指定目录-->  
  14. <name>mapred.local.dir</name>  
  15. <value>/root/hadoop1.2/mylogs</value>  
  16. </property>  
  17. </configuration>  
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration>
<!-- jobtracker的master地址-->
<property> 
<name>mapred.job.tracker</name> 
<value>192.168.75.130:9001</value> 
</property>
<property>
<!-- hadoop的日志输出指定目录-->
<name>mapred.local.dir</name>
<value>/root/hadoop1.2/mylogs</value>
</property>
</configuration>



配置好,日志目录后,我们就可以把这个配置文件,分发到各个节点上,然后启动hadoop。
下面我们看来下在eclipse环境中如何调试,散仙在setup,map和reduce方法中,分别使用System打印了一些数据,当我们使用local方式跑MR程序时候,日志并不会被记录下来,而是直接会在控制台打印,散仙的测试代码如下:

Java代码 复制代码  收藏代码
  1. package com.qin.testdistributed;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileReader;  
  5. import java.io.IOException;  
  6. import java.net.URI;  
  7. import java.util.Scanner;  
  8.   
  9. import org.apache.hadoop.conf.Configuration;  
  10. import org.apache.hadoop.filecache.DistributedCache;  
  11. import org.apache.hadoop.fs.FSDataInputStream;  
  12. import org.apache.hadoop.fs.FileSystem;  
  13. import org.apache.hadoop.fs.Path;  
  14. import org.apache.hadoop.io.IntWritable;  
  15. import org.apache.hadoop.io.LongWritable;  
  16. import org.apache.hadoop.io.Text;  
  17. import org.apache.hadoop.mapred.JobConf;  
  18. import org.apache.hadoop.mapreduce.Job;  
  19. import org.apache.hadoop.mapreduce.Mapper;  
  20. import org.apache.hadoop.mapreduce.Reducer;  
  21. import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;  
  22. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  23. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  24. import org.apache.log4j.pattern.LogEvent;  
  25.    
  26. import org.slf4j.Logger;  
  27. import org.slf4j.LoggerFactory;  
  28.   
  29. import com.qin.operadb.WriteMapDB;  
  30.    
  31.   
  32. /** 
  33.  * 测试hadoop的全局共享文件 
  34.  * 使用DistributedCached 
  35.  *  
  36.  * 大数据技术交流群: 37693216 
  37.  * @author qindongliang 
  38.  *  
  39.  * ***/  
  40. public class TestDistributed {  
  41.       
  42.       
  43.     private static Logger logger=LoggerFactory.getLogger(TestDistributed.class);  
  44.       
  45.       
  46.       
  47.       
  48.       
  49.     private static class FileMapper extends Mapper<LongWritable, Text, Text, IntWritable>{  
  50.           
  51.             Path path[]=null;  
  52.               
  53.         /** 
  54.          * Map函数前调用 
  55.          *  
  56.          * */  
  57.         @Override  
  58.         protected void setup(Context context)  
  59.                 throws IOException, InterruptedException {  
  60.           logger.info("开始启动setup了哈哈哈哈");  
  61.             // System.out.println("运行了.........");  
  62.           Configuration conf=context.getConfiguration();  
  63.            path=DistributedCache.getLocalCacheFiles(conf);  
  64.            System.out.println("获取的路径是:  "+path[0].toString());  
  65.          //  FileSystem fs = FileSystem.get(conf);  
  66.            FileSystem fsopen= FileSystem.getLocal(conf);  
  67.           // FSDataInputStream in = fsopen.open(path[0]);  
  68.           // System.out.println(in.readLine());  
  69. //         for(Path tmpRefPath : path) {  
  70. //             if(tmpRefPath.toString().indexOf("ref.png") != -1) {  
  71. //                 in = reffs.open(tmpRefPath);  
  72. //                 break;  
  73. //             }  
  74. //         }  
  75.              
  76.      // FileReader reader=new FileReader("file://"+path[0].toString());  
  77. //      File f=new File("file://"+path[0].toString());  
  78.       // FSDataInputStream in=fs.open(new Path(path[0].toString()));  
  79. //       Scanner scan=new Scanner(in);  
  80. //         while(scan.hasNext()){  
  81. //             System.out.println(Thread.currentThread().getName()+"扫描的内容:  "+scan.next());  
  82. //         }  
  83. //         scan.close();  
  84. //        
  85.         // System.out.println("size: "+path.length);  
  86.               
  87.               
  88.         }  
  89.           
  90.           
  91.         @Override  
  92.         protected void map(LongWritable key, Text value,Context context)  
  93.                 throws IOException, InterruptedException {  
  94.            
  95.         //  System.out.println("map    aaa");  
  96.             //logger.info("Map里的任务");  
  97.             System.out.println("map里输出了");  
  98.         //  logger.info();  
  99.             context.write(new Text(""), new IntWritable(0));  
  100.   
  101.           
  102.         }  
  103.    
  104.           
  105.          @Override  
  106.         protected void cleanup(Context context)  
  107.                 throws IOException, InterruptedException {  
  108.           
  109.                
  110.              logger.info("清空任务了。。。。。。");  
  111.         }  
  112.           
  113.     }  
  114.       
  115.       
  116.     private static class  FileReduce extends Reducer<Object, Object, Object, Object>{  
  117.           
  118.           
  119.         @Override  
  120.         protected void reduce(Object arg0, Iterable<Object> arg1,  
  121.                  Context arg2)throws IOException, InterruptedException {  
  122.                
  123.               
  124.             System.out.println("我是reduce里面的东西");  
  125.         }  
  126.     }  
  127.       
  128.       
  129.       
  130.     public static void main(String[] args)throws Exception {  
  131.           
  132.           
  133.         JobConf conf=new JobConf(TestDistributed.class);  
  134.         //conf.set("mapred.local.dir", "/root/hadoop");  
  135.          //Configuration conf=new Configuration();  
  136.           
  137.         // conf.set("mapred.job.tracker","192.168.75.130:9001");  
  138.         //读取person中的数据字段  
  139.            //conf.setJar("tt.jar");  
  140.            
  141.         //注意这行代码放在最前面,进行初始化,否则会报  
  142.          String inputPath="hdfs://192.168.75.130:9000/root/input";        
  143.          String outputPath="hdfs://192.168.75.130:9000/root/outputsort";  
  144.            
  145.         Job job=new Job(conf, "a");  
  146.         DistributedCache.addCacheFile(new URI("hdfs://192.168.75.130:9000/root/input/f1.txt"), job.getConfiguration());  
  147.         job.setJarByClass(TestDistributed.class);  
  148.         System.out.println("运行模式:  "+conf.get("mapred.job.tracker"));  
  149.         /**设置输出表的的信息  第一个参数是job任务,第二个参数是表名,第三个参数字段项**/  
  150.        FileSystem fs=FileSystem.get(job.getConfiguration());  
  151.           
  152.           Path pout=new Path(outputPath);  
  153.           if(fs.exists(pout)){  
  154.               fs.delete(pout, true);  
  155.               System.out.println("存在此路径, 已经删除......");  
  156.           }   
  157.          /**设置Map类**/  
  158.         // job.setOutputKeyClass(Text.class);  
  159.          //job.setOutputKeyClass(IntWritable.class);  
  160.           job.setMapOutputKeyClass(Text.class);  
  161.           job.setMapOutputValueClass(IntWritable.class);  
  162.          job.setMapperClass(FileMapper.class);  
  163.          job.setReducerClass(FileReduce.class);  
  164.          FileInputFormat.setInputPaths(job, new Path(inputPath));  //输入路径  
  165.          FileOutputFormat.setOutputPath(job, new Path(outputPath));//输出路径    
  166.           
  167.         System.exit(job.waitForCompletion(true) ? 0 : 1);    
  168.           
  169.           
  170.           
  171.     }  
  172.       
  173.       
  174.       
  175.   
  176. }  
package com.qin.testdistributed;import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.net.URI;
import java.util.Scanner;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.filecache.DistributedCache;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.log4j.pattern.LogEvent;import org.slf4j.Logger;
import org.slf4j.LoggerFactory;import com.qin.operadb.WriteMapDB;/*** 测试hadoop的全局共享文件* 使用DistributedCached* * 大数据技术交流群: 37693216* @author qindongliang* * ***/
public class TestDistributed {private static Logger logger=LoggerFactory.getLogger(TestDistributed.class);private static class FileMapper extends Mapper<LongWritable, Text, Text, IntWritable>{Path path[]=null;/*** Map函数前调用* * */@Overrideprotected void setup(Context context)throws IOException, InterruptedException {logger.info("开始启动setup了哈哈哈哈");// System.out.println("运行了.........");Configuration conf=context.getConfiguration();path=DistributedCache.getLocalCacheFiles(conf);System.out.println("获取的路径是:  "+path[0].toString());//  FileSystem fs = FileSystem.get(conf);FileSystem fsopen= FileSystem.getLocal(conf);// FSDataInputStream in = fsopen.open(path[0]);// System.out.println(in.readLine());
//	       for(Path tmpRefPath : path) {
//	           if(tmpRefPath.toString().indexOf("ref.png") != -1) {
//	               in = reffs.open(tmpRefPath);
//	               break;
//	           }
//	       }// FileReader reader=new FileReader("file://"+path[0].toString());
//      File f=new File("file://"+path[0].toString());// FSDataInputStream in=fs.open(new Path(path[0].toString()));
//	     Scanner scan=new Scanner(in);
//	       while(scan.hasNext()){
//	    	   System.out.println(Thread.currentThread().getName()+"扫描的内容:  "+scan.next());
//	       }
//	       scan.close();
//		// System.out.println("size: "+path.length);}@Overrideprotected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {//	System.out.println("map    aaa");//logger.info("Map里的任务");System.out.println("map里输出了");//	logger.info();context.write(new Text(""), new IntWritable(0));}@Overrideprotected void cleanup(Context context)throws IOException, InterruptedException {logger.info("清空任务了。。。。。。");}}private static class  FileReduce extends Reducer<Object, Object, Object, Object>{@Overrideprotected void reduce(Object arg0, Iterable<Object> arg1,Context arg2)throws IOException, InterruptedException {System.out.println("我是reduce里面的东西");}}public static void main(String[] args)throws Exception {JobConf conf=new JobConf(TestDistributed.class);//conf.set("mapred.local.dir", "/root/hadoop");//Configuration conf=new Configuration();// conf.set("mapred.job.tracker","192.168.75.130:9001");//读取person中的数据字段//conf.setJar("tt.jar");//注意这行代码放在最前面,进行初始化,否则会报String inputPath="hdfs://192.168.75.130:9000/root/input";	    String outputPath="hdfs://192.168.75.130:9000/root/outputsort";Job job=new Job(conf, "a");DistributedCache.addCacheFile(new URI("hdfs://192.168.75.130:9000/root/input/f1.txt"), job.getConfiguration());job.setJarByClass(TestDistributed.class);System.out.println("运行模式:  "+conf.get("mapred.job.tracker"));/**设置输出表的的信息  第一个参数是job任务,第二个参数是表名,第三个参数字段项**/FileSystem fs=FileSystem.get(job.getConfiguration());Path pout=new Path(outputPath);if(fs.exists(pout)){fs.delete(pout, true);System.out.println("存在此路径, 已经删除......");} /**设置Map类**/// job.setOutputKeyClass(Text.class);//job.setOutputKeyClass(IntWritable.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(IntWritable.class);job.setMapperClass(FileMapper.class);job.setReducerClass(FileReduce.class);FileInputFormat.setInputPaths(job, new Path(inputPath));  //输入路径FileOutputFormat.setOutputPath(job, new Path(outputPath));//输出路径  System.exit(job.waitForCompletion(true) ? 0 : 1);  }}


Local模式下输出如下:

Java代码 复制代码  收藏代码
  1. 运行模式:  local  
  2. 存在此路径, 已经删除......  
  3. WARN - NativeCodeLoader.<clinit>(52) | Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  4. WARN - JobClient.copyAndConfigureFiles(746) | Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.  
  5. WARN - JobClient.copyAndConfigureFiles(870) | No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).  
  6. INFO - FileInputFormat.listStatus(237) | Total input paths to process : 1  
  7. WARN - LoadSnappy.<clinit>(46) | Snappy native library not loaded  
  8. INFO - TrackerDistributedCacheManager.downloadCacheObject(423) | Creating f1.txt in /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input-work-186410214545932656 with rwxr-xr-x  
  9. INFO - TrackerDistributedCacheManager.downloadCacheObject(463) | Cached hdfs://192.168.75.130:9000/root/input/f1.txt as /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt  
  10. INFO - TrackerDistributedCacheManager.localizePublicCacheObject(486) | Cached hdfs://192.168.75.130:9000/root/input/f1.txt as /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt  
  11. INFO - JobClient.monitorAndPrintJob(1380) | Running job: job_local479869714_0001  
  12. INFO - LocalJobRunner$Job.run(340) | Waiting for map tasks  
  13. INFO - LocalJobRunner$Job$MapTaskRunnable.run(204) | Starting task: attempt_local479869714_0001_m_000000_0  
  14. INFO - Task.initialize(534) |  Using ResourceCalculatorPlugin : null  
  15. INFO - MapTask.runNewMapper(729) | Processing split: hdfs://192.168.75.130:9000/root/input/f1.txt:0+31  
  16. INFO - MapTask$MapOutputBuffer.<init>(949) | io.sort.mb = 100  
  17. INFO - MapTask$MapOutputBuffer.<init>(961) | data buffer = 79691776/99614720  
  18. INFO - MapTask$MapOutputBuffer.<init>(962) | record buffer = 262144/327680  
  19. INFO - TestDistributed$FileMapper.setup(57) | 开始启动setup了哈哈哈哈  
  20. 获取的路径是:  /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt  
  21. map里输出了  
  22. map里输出了  
  23. INFO - TestDistributed$FileMapper.cleanup(107) | 清空任务了。。。。。。  
  24. INFO - MapTask$MapOutputBuffer.flush(1289) | Starting flush of map output  
  25. INFO - MapTask$MapOutputBuffer.sortAndSpill(1471) | Finished spill 0  
  26. INFO - Task.done(858) | Task:attempt_local479869714_0001_m_000000_0 is done. And is in the process of commiting  
  27. INFO - LocalJobRunner$Job.statusUpdate(466) |   
  28. INFO - Task.sendDone(970) | Task 'attempt_local479869714_0001_m_000000_0' done.  
  29. INFO - LocalJobRunner$Job$MapTaskRunnable.run(229) | Finishing task: attempt_local479869714_0001_m_000000_0  
  30. INFO - LocalJobRunner$Job.run(348) | Map task executor complete.  
  31. INFO - Task.initialize(534) |  Using ResourceCalculatorPlugin : null  
  32. INFO - LocalJobRunner$Job.statusUpdate(466) |   
  33. INFO - Merger$MergeQueue.merge(408) | Merging 1 sorted segments  
  34. INFO - Merger$MergeQueue.merge(491) | Down to the last merge-pass, with 1 segments left of total size: 16 bytes  
  35. INFO - LocalJobRunner$Job.statusUpdate(466) |   
  36. 我是reduce里面的东西  
  37. INFO - Task.done(858) | Task:attempt_local479869714_0001_r_000000_0 is done. And is in the process of commiting  
  38. INFO - LocalJobRunner$Job.statusUpdate(466) |   
  39. INFO - Task.commit(1011) | Task attempt_local479869714_0001_r_000000_0 is allowed to commit now  
  40. INFO - FileOutputCommitter.commitTask(173) | Saved output of task 'attempt_local479869714_0001_r_000000_0' to hdfs://192.168.75.130:9000/root/outputsort  
  41. INFO - LocalJobRunner$Job.statusUpdate(466) | reduce > reduce  
  42. INFO - Task.sendDone(970) | Task 'attempt_local479869714_0001_r_000000_0' done.  
  43. INFO - JobClient.monitorAndPrintJob(1393) |  map 100% reduce 100%  
  44. INFO - JobClient.monitorAndPrintJob(1448) | Job complete: job_local479869714_0001  
  45. INFO - Counters.log(585) | Counters: 18  
  46. INFO - Counters.log(587) |   File Output Format Counters   
  47. INFO - Counters.log(589) |     Bytes Written=0  
  48. INFO - Counters.log(587) |   File Input Format Counters   
  49. INFO - Counters.log(589) |     Bytes Read=31  
  50. INFO - Counters.log(587) |   FileSystemCounters  
  51. INFO - Counters.log(589) |     FILE_BYTES_READ=454  
  52. INFO - Counters.log(589) |     HDFS_BYTES_READ=124  
  53. INFO - Counters.log(589) |     FILE_BYTES_WRITTEN=138372  
  54. INFO - Counters.log(587) |   Map-Reduce Framework  
  55. INFO - Counters.log(589) |     Map output materialized bytes=20  
  56. INFO - Counters.log(589) |     Map input records=2  
  57. INFO - Counters.log(589) |     Reduce shuffle bytes=0  
  58. INFO - Counters.log(589) |     Spilled Records=4  
  59. INFO - Counters.log(589) |     Map output bytes=10  
  60. INFO - Counters.log(589) |     Total committed heap usage (bytes)=455475200  
  61. INFO - Counters.log(589) |     Combine input records=0  
  62. INFO - Counters.log(589) |     SPLIT_RAW_BYTES=109  
  63. INFO - Counters.log(589) |     Reduce input records=2  
  64. INFO - Counters.log(589) |     Reduce input groups=1  
  65. INFO - Counters.log(589) |     Combine output records=0  
  66. INFO - Counters.log(589) |     Reduce output records=0  
  67. INFO - Counters.log(589) |     Map output records=2  
运行模式:  local
存在此路径, 已经删除......
WARN - NativeCodeLoader.<clinit>(52) | Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN - JobClient.copyAndConfigureFiles(746) | Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
WARN - JobClient.copyAndConfigureFiles(870) | No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
INFO - FileInputFormat.listStatus(237) | Total input paths to process : 1
WARN - LoadSnappy.<clinit>(46) | Snappy native library not loaded
INFO - TrackerDistributedCacheManager.downloadCacheObject(423) | Creating f1.txt in /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input-work-186410214545932656 with rwxr-xr-x
INFO - TrackerDistributedCacheManager.downloadCacheObject(463) | Cached hdfs://192.168.75.130:9000/root/input/f1.txt as /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt
INFO - TrackerDistributedCacheManager.localizePublicCacheObject(486) | Cached hdfs://192.168.75.130:9000/root/input/f1.txt as /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt
INFO - JobClient.monitorAndPrintJob(1380) | Running job: job_local479869714_0001
INFO - LocalJobRunner$Job.run(340) | Waiting for map tasks
INFO - LocalJobRunner$Job$MapTaskRunnable.run(204) | Starting task: attempt_local479869714_0001_m_000000_0
INFO - Task.initialize(534) |  Using ResourceCalculatorPlugin : null
INFO - MapTask.runNewMapper(729) | Processing split: hdfs://192.168.75.130:9000/root/input/f1.txt:0+31
INFO - MapTask$MapOutputBuffer.<init>(949) | io.sort.mb = 100
INFO - MapTask$MapOutputBuffer.<init>(961) | data buffer = 79691776/99614720
INFO - MapTask$MapOutputBuffer.<init>(962) | record buffer = 262144/327680
INFO - TestDistributed$FileMapper.setup(57) | 开始启动setup了哈哈哈哈
获取的路径是:  /root/hadoop1.2/hadooptmp/mapred/local/archive/9070031930820799196_1788685676_88844454/192.168.75.130/root/input/f1.txt
map里输出了
map里输出了
INFO - TestDistributed$FileMapper.cleanup(107) | 清空任务了。。。。。。
INFO - MapTask$MapOutputBuffer.flush(1289) | Starting flush of map output
INFO - MapTask$MapOutputBuffer.sortAndSpill(1471) | Finished spill 0
INFO - Task.done(858) | Task:attempt_local479869714_0001_m_000000_0 is done. And is in the process of commiting
INFO - LocalJobRunner$Job.statusUpdate(466) | 
INFO - Task.sendDone(970) | Task 'attempt_local479869714_0001_m_000000_0' done.
INFO - LocalJobRunner$Job$MapTaskRunnable.run(229) | Finishing task: attempt_local479869714_0001_m_000000_0
INFO - LocalJobRunner$Job.run(348) | Map task executor complete.
INFO - Task.initialize(534) |  Using ResourceCalculatorPlugin : null
INFO - LocalJobRunner$Job.statusUpdate(466) | 
INFO - Merger$MergeQueue.merge(408) | Merging 1 sorted segments
INFO - Merger$MergeQueue.merge(491) | Down to the last merge-pass, with 1 segments left of total size: 16 bytes
INFO - LocalJobRunner$Job.statusUpdate(466) | 
我是reduce里面的东西
INFO - Task.done(858) | Task:attempt_local479869714_0001_r_000000_0 is done. And is in the process of commiting
INFO - LocalJobRunner$Job.statusUpdate(466) | 
INFO - Task.commit(1011) | Task attempt_local479869714_0001_r_000000_0 is allowed to commit now
INFO - FileOutputCommitter.commitTask(173) | Saved output of task 'attempt_local479869714_0001_r_000000_0' to hdfs://192.168.75.130:9000/root/outputsort
INFO - LocalJobRunner$Job.statusUpdate(466) | reduce > reduce
INFO - Task.sendDone(970) | Task 'attempt_local479869714_0001_r_000000_0' done.
INFO - JobClient.monitorAndPrintJob(1393) |  map 100% reduce 100%
INFO - JobClient.monitorAndPrintJob(1448) | Job complete: job_local479869714_0001
INFO - Counters.log(585) | Counters: 18
INFO - Counters.log(587) |   File Output Format Counters 
INFO - Counters.log(589) |     Bytes Written=0
INFO - Counters.log(587) |   File Input Format Counters 
INFO - Counters.log(589) |     Bytes Read=31
INFO - Counters.log(587) |   FileSystemCounters
INFO - Counters.log(589) |     FILE_BYTES_READ=454
INFO - Counters.log(589) |     HDFS_BYTES_READ=124
INFO - Counters.log(589) |     FILE_BYTES_WRITTEN=138372
INFO - Counters.log(587) |   Map-Reduce Framework
INFO - Counters.log(589) |     Map output materialized bytes=20
INFO - Counters.log(589) |     Map input records=2
INFO - Counters.log(589) |     Reduce shuffle bytes=0
INFO - Counters.log(589) |     Spilled Records=4
INFO - Counters.log(589) |     Map output bytes=10
INFO - Counters.log(589) |     Total committed heap usage (bytes)=455475200
INFO - Counters.log(589) |     Combine input records=0
INFO - Counters.log(589) |     SPLIT_RAW_BYTES=109
INFO - Counters.log(589) |     Reduce input records=2
INFO - Counters.log(589) |     Reduce input groups=1
INFO - Counters.log(589) |     Combine output records=0
INFO - Counters.log(589) |     Reduce output records=0
INFO - Counters.log(589) |     Map output records=2


下面,我们将程序,提交成hadoop集群上运行进行测试,注意在集群上运行,日志信息就不会在控制台显示了,我们需要去自己定义的日志目录下,找到最新提交 的那个下,然后就可以查看我们的日志信息了。



查看stdout里面的内容如下:

Java代码 复制代码  收藏代码
  1. 获取的路径是:  /root/hadoop1.2/mylogs/taskTracker/distcache/2726204645197711229_1788685676_88844454/192.168.75.130/root/input/f1.txt  
  2. map里输出了  
  3. map里输出了  
获取的路径是:  /root/hadoop1.2/mylogs/taskTracker/distcache/2726204645197711229_1788685676_88844454/192.168.75.130/root/input/f1.txt
map里输出了
map里输出了


注意,map里面的日志需要去xxxmxxx和xxxrxxx里面去找:


当然,除了这种方式外,我们还可以直接通过50030端口在web页面上进行查看,截图示例如下:









至此,我们已经散仙已经介绍完了,这两种方式,Hadoop在执行过程中,日志会被随机分到任何一台节点上,我们可能不能确定本次提交的任务日志输出到底放在那里,但是我们可以通过在50030的web页面上,查看最新的一次任务,一般是最下面的任务,是最新提交的,通过页面上的连接我们就可以,查看到具体的本次任务的日志情况被随机分发到那个节点上了,然后就可以去具体的 节点上获取了。

这篇关于mapred-site.xml里面配置运行日志的输出目录的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/823561

相关文章

C#中读取XML文件的四种常用方法

《C#中读取XML文件的四种常用方法》Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具,下面我们就来看看C#中读取XML文件的方法都有哪些吧... 目录XML简介格式C#读取XML文件方法使用XmlDocument使用XmlTextReader/XmlTextWr

Android里面的Service种类以及启动方式

《Android里面的Service种类以及启动方式》Android中的Service分为前台服务和后台服务,前台服务需要亮身份牌并显示通知,后台服务则有启动方式选择,包括startService和b... 目录一句话总结:一、Service 的两种类型:1. 前台服务(必须亮身份牌)2. 后台服务(偷偷干

SpringBoot+MyBatis-Flex配置ProxySQL的实现步骤

《SpringBoot+MyBatis-Flex配置ProxySQL的实现步骤》本文主要介绍了SpringBoot+MyBatis-Flex配置ProxySQL的实现步骤,文中通过示例代码介绍的非常详... 目录 目标 步骤 1:确保 ProxySQL 和 mysql 主从同步已正确配置ProxySQL 的

Spring Boot整合log4j2日志配置的详细教程

《SpringBoot整合log4j2日志配置的详细教程》:本文主要介绍SpringBoot项目中整合Log4j2日志框架的步骤和配置,包括常用日志框架的比较、配置参数介绍、Log4j2配置详解... 目录前言一、常用日志框架二、配置参数介绍1. 日志级别2. 输出形式3. 日志格式3.1 PatternL

配置springboot项目动静分离打包分离lib方式

《配置springboot项目动静分离打包分离lib方式》本文介绍了如何将SpringBoot工程中的静态资源和配置文件分离出来,以减少jar包大小,方便修改配置文件,通过在jar包同级目录创建co... 目录前言1、分离配置文件原理2、pom文件配置3、使用package命令打包4、总结前言默认情况下,

使用TomCat,service输出台出现乱码的解决

《使用TomCat,service输出台出现乱码的解决》本文介绍了解决Tomcat服务输出台中文乱码问题的两种方法,第一种方法是修改`logging.properties`文件中的`prefix`和`... 目录使用TomCat,service输出台出现乱码问题1解决方案问题2解决方案总结使用TomCat,

VScode连接远程Linux服务器环境配置图文教程

《VScode连接远程Linux服务器环境配置图文教程》:本文主要介绍如何安装和配置VSCode,包括安装步骤、环境配置(如汉化包、远程SSH连接)、语言包安装(如C/C++插件)等,文中给出了详... 目录一、安装vscode二、环境配置1.中文汉化包2.安装remote-ssh,用于远程连接2.1安装2

Redis多种内存淘汰策略及配置技巧分享

《Redis多种内存淘汰策略及配置技巧分享》本文介绍了Redis内存满时的淘汰机制,包括内存淘汰机制的概念,Redis提供的8种淘汰策略(如noeviction、volatile-lru等)及其适用场... 目录前言一、什么是 Redis 的内存淘汰机制?二、Redis 内存淘汰策略1. pythonnoe

windos server2022的配置故障转移服务的图文教程

《windosserver2022的配置故障转移服务的图文教程》本文主要介绍了windosserver2022的配置故障转移服务的图文教程,以确保服务和应用程序的连续性和可用性,文中通过图文介绍的非... 目录准备环境:步骤故障转移群集是 Windows Server 2022 中提供的一种功能,用于在多个

windos server2022里的DFS配置的实现

《windosserver2022里的DFS配置的实现》DFS是WindowsServer操作系统提供的一种功能,用于在多台服务器上集中管理共享文件夹和文件的分布式存储解决方案,本文就来介绍一下wi... 目录什么是DFS?优势:应用场景:DFS配置步骤什么是DFS?DFS指的是分布式文件系统(Distr