本文主要是介绍hadoop入门--使用Apache Pig统计每个航班班次,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
案例基于hadoop 2.73,伪分布式集群
1,数据包导入hadoop集群hdfs的/user/root目录下
hdfs dfs -copyFromLocal 2008.csv /user/root
2,编写totalmiles.pig脚本
records = LOAD '2008.csv' USING PigStorage(',') AS
(Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTime,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance:int,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDelay,SecurityDelay,LateAircraftDelay);
milage_recs = GROUP records ALL;
tot_miles = FOREACH milage_recs GENERATE SUM(records.Distance);
STORE tot_miles INTO '/user/root/totalmiles';
LOAD:读取hdfs的某个文件或某个目录下所有文件。
USING:默认情况下Pig解析文件内容是以Tab空格相隔进行的,可以指定函数定制Pig解析是以逗号进行的。
AS xx:hdfs可以存储任何原始数据,Pig需要从hdfs读取数据并解析成Pig理解的数据模型。
GROUP … ALL:把每类结果集进行聚合操作。
FOREACH A GENERATE B:A结果集使用B函数转换成一个单一的值。
STORE INTO:把结果存储到hdfs。
3,命令行执行totalmiles.pig脚本
pig -x mapreduce totalmiles.pig
提示:-x+mapreduce/spark/tez等,选择哪一种,是根据集群所选取的计算框架是哪种。
运行情况:
Details at logfile: /usr/test/code/pig_1516001376428.log
2018-01-14 23:29:39,112 [main] INFO org.apache.pig.Main - Pig script completed in 3 seconds and 128 milliseconds (3128 ms)
4,查看结果
hdfs dfs -cat /user/root/totalmiles/part-r-00000
结果情况:
[root@slave1 code]# hdfs dfs -cat /user/root/totalmiles/part-r-00000
5091775499
资料:
1、《Hadoop For Dummies》
2、《Aapache Pig Getting Started》
这篇关于hadoop入门--使用Apache Pig统计每个航班班次的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!