elephant-bird的使用示例

2024-08-20 17:48
文章标签 使用 示例 bird elephant

本文主要是介绍elephant-bird的使用示例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

elephant-bird的使用示例

一、简要概述

在近期项目的开发中,由于处理数据量巨大,为了减少HDFS的存储压力以及提高MapReduce的运算效率,故采用了protoc buffer序列化和lzo压缩机制。在项目中采用了这两种机制后,整个集群的存储压力及运算效率得到了明显的改善。但在开发中,我们需要分别根据protobuf的配置文件xxx.proto所定义的消息结构(也就是数据类型)来自己手动实现Hadoop org.apache.hadoop.io.WritableComparable,以及InputFormat和OutputFormat.,同时也要手动加入lzo压缩处理,这样一来,工作量就会变得非常巨大,但elephant-bird很好的替代了这方面的工作。它能基于protocol buffer的proto文件,以及thrift的thrift文件生成对应的Writable,InputFormat以及OutputFormat.需要lzo压缩以及64位编码也没关系,照样都支持.如此省去了你自己去写这些代码的麻烦,而且写这些代码都是机械性的,所以也就有了elephant-bird的存在性。

如果,大家对protobuf、thrift、lzo有不了解的话,可以参看本人的博客,进入对应的博客分类里面,即可查看到。

二、环境搭建

1.环境说明:

在如下的使用示例中,需要你的机器上安装ant以及protocol buffer(本例中Thrift暂不使用)。如果,大家没安装的话,可以参看本人的博客把环境搭建好。

对于使用elephant-bird,我们只需要使用elephant-bird提供的可执行jar包即可根据要求生产自己想要的代码。

2.下载elephant-bird相关jar包

(1).可以通过git从git clone git://github.com/kevinweil/elephant-bird.git  clone一份工程

(2).下载本人的连接:

1.创建工程,结构如下:

1.将上图展示的各种jar放入工程。

2.新建address_book.proto文件,内容如下:

package org.zhu.elephantBird.proto;option java_outer_classname = "AddressBookProtos";message Person {required string name = 1;required int32 id = 2;optional string email = 3;enum PhoneType {MOBILE = 0;HOME = 1;WORK = 2;}message PhoneNumber {required string number = 1;optional PhoneType type = 2 [default = HOME];}repeated PhoneNumber phone = 4;
}message AddressBook {repeated Person person = 1;
}
3.build.xml文件,内容如下:

<!--默认执行target2:generate-protobufANDelephant-bird-->
<project name="elephant-bird-study" basedir="." default="generate-protobufANDelephant-bird"><property name="src.proto.dir" location="./conf" /><property name="src.gen.java.dir" location="${src.dir}/gen-java" /><!--target 1:只生成protobuf代码--><target name="generate-protobuf"><delete dir="${src.gen.java.dir}" /><mkdir dir="${src.gen.java.dir}" /><apply executable="protoc" failοnerrοr="true" skipemptyfilesets="true" verbose="true"><arg value="--proto_path=${src.proto.dir}" /><arg value="--java_out=${src.gen.java.dir}" /><fileset dir="${src.proto.dir}" includes="addressBook.proto" /></apply></target><!--target 2:生成protobuf代码和elephant-bird代码--><!--增加了<env key="PATH" path="${env.PATH}:${basedir}/script" />,表示将刚才新建的$YOUR_PROJECT_HOME/script下的文件放入path中     增加了参数<arg value="- -example_out=${src.gen.java.dir}" />,这里elephant-bird有个奇怪的规则,参数名为- -example_out,其中example存在规则,他将跟protoc-gen-组成protoc-gen-example做为Protocol Buffer调用elephant-bird的脚本文件名.   --><target name="generate-protobufANDelephant-bird" ><delete dir="${src.gen.java.dir}"/><mkdir dir="${src.gen.java.dir}"/><apply executable="protoc" failοnerrοr="true" skipemptyfilesets="true" verbose="true" ><env key="PATH" path="${env.PATH}:${basedir}/script" /><arg value="--proto_path=${src.proto.dir}" /><arg value="--java_out=${src.gen.java.dir}" /><!--注意:下面的“- -addressBook_out”中的“addressBook”部分的名称要和script目录下的"protoc-gen-addressBoo的中"addressBook"部分保持一致,否则会报找不到脚本错误--><arg value="--addressBook_out=${src.gen.java.dir}" /><fileset dir="${src.proto.dir}" includes="address_book.proto" /></apply></target></project>

4.编写config-example.yml文件:

#通过指定代码生成器类型(具体的生成代码的类)配置elephant-bird生成的代码类型
#注意下面的"address_book"标识要和conf目录下的address_book.proto的名称(不包括后缀名.proto)保持一致
#否则会报配置文件(即此文件,config-example.yml)和xxx.proto文件不匹配错误
#如下配置将生成mapreduce、pig相关的实现代码
address_book:- com.twitter.elephantbird.proto.codegen.DeprecatedLzoProtobufBlockInputFormatGenerator- com.twitter.elephantbird.proto.codegen.LzoProtobufB64LineInputFormatGenerator- com.twitter.elephantbird.proto.codegen.LzoProtobufB64LineOutputFormatGenerator- com.twitter.elephantbird.proto.codegen.LzoProtobufBlockInputFormatGenerator- com.twitter.elephantbird.proto.codegen.LzoProtobufBlockOutputFormatGenerator- com.twitter.elephantbird.proto.codegen.ProtobufWritableGenerator- com.twitter.elephantbird.proto.codegen.LzoProtobufB64LinePigLoaderGenerator- com.twitter.elephantbird.proto.codegen.LzoProtobufBlockPigLoaderGenerator
#  - com.twitter.elephantbird.proto.codegen.LzoProtobufHiveSerdeGenerator- com.twitter.elephantbird.proto.codegen.ProtobufBytesToPigTupleGenerator

5.编写protoc-gen-addressBook脚本文件:

#!/bin/bash  
#调用java命令执行elephant-bird的代码生成引擎(com.twitter.elephantbird.proto.HadoopProtoCodeGenerator)
#按照配置文件config-example.yml来生成制定类型的代码/usr/bin/java -cp ./lib/*: com.twitter.elephantbird.proto.HadoopProtoCodeGenerator ./script/config-example.yml -

编写以上配置文件的注意事项:

(1).请保证build.xml文件中的<arg value="--addressBook_out=${src.gen.java.dir}" />中的“addressBook”部分的名称要和script目录下的"protoc-gen-           addressBoo的中"addressBook"部分保持一致,否则会报找不到脚本错误

(2).请保证config-example.yml文件中的"address_book"标识要和conf目录下的address_book.proto的名称(不包括后缀名.proto)保持一致
否则会报配置文件(即此文件,config-example.yml)和xxx.proto文件不匹配错误

6.通过ant生成代码:

可以通过执行ant命令(需要进入当前工程的工作目录)或者在eclipse中,在built.xml页面中右击鼠标,点击"run as ant"来运行程序生成代码。

如无意外的话,你的工程下的src包下会生成如下一坨代码





这篇关于elephant-bird的使用示例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090755

相关文章

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

Pandas统计每行数据中的空值的方法示例

《Pandas统计每行数据中的空值的方法示例》处理缺失数据(NaN值)是一个非常常见的问题,本文主要介绍了Pandas统计每行数据中的空值的方法示例,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是空值?为什么要统计空值?准备工作创建示例数据统计每行空值数量进一步分析www.chinasem.cn处

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

利用Python调试串口的示例代码

《利用Python调试串口的示例代码》在嵌入式开发、物联网设备调试过程中,串口通信是最基础的调试手段本文将带你用Python+ttkbootstrap打造一款高颜值、多功能的串口调试助手,需要的可以了... 目录概述:为什么需要专业的串口调试工具项目架构设计1.1 技术栈选型1.2 关键类说明1.3 线程模

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

Python使用getopt处理命令行参数示例解析(最佳实践)

《Python使用getopt处理命令行参数示例解析(最佳实践)》getopt模块是Python标准库中一个简单但强大的命令行参数处理工具,它特别适合那些需要快速实现基本命令行参数解析的场景,或者需要... 目录为什么需要处理命令行参数?getopt模块基础实际应用示例与其他参数处理方式的比较常见问http

C 语言中enum枚举的定义和使用小结

《C语言中enum枚举的定义和使用小结》在C语言里,enum(枚举)是一种用户自定义的数据类型,它能够让你创建一组具名的整数常量,下面我会从定义、使用、特性等方面详细介绍enum,感兴趣的朋友一起看... 目录1、引言2、基本定义3、定义枚举变量4、自定义枚举常量的值5、枚举与switch语句结合使用6、枚