elephant-bird的安装和使用

2023-12-10 18:38
文章标签 安装 使用 bird elephant

本文主要是介绍elephant-bird的安装和使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

转自：http://guoyunsky.iteye.com/blog/1780165 

elephant-bird使用还是比较简单，毕竟只是一个生成代码的工具.我一开始以为elephant-bird也跟Protcol Buffer或Thrift一样,有自己的脚本,传入参数和参数值,通过脚本去生成代码.后来才发现,根本无需如此.
       毕竟elephant-bird基于Protocol Buffer和Thrift,而Protocol Buffer跟Thrift(Thrift我还没去测试过)又支持调用外部命令,也就是shell脚本.而这个shell脚本可以是elephant-bird生成代码的地方.具体看使用吧.
       1.依赖环境: 

                 1)Ant 

                 2)Protocol Buffer
       2.下载   

               下载相对简单,我这里通过git:   

                git clone https://github.com/kevinweil/elephant-bird.git 

                这里下载的elephant-bird路径我在下面简称为$ELEPHANT_BIRD_HOME
       3.安装 

              安装也相对简单,通过ant即可.如: ant install-local ant compile 

              运行这两个ant之后,会发现在$ELEPHANT_BIRD_HOME/build目录下发现elephant-bird-xxx.jar以及lib/compile目录,等下需要用到.
       4.使用 

             1)所需要的proto文件

               我这里直接拷贝Protocol Buffer的样例:address_book.proto,代码如下:    

 

Proto代码   收藏代码
  1.  package com.twitter.data.proto.tutorial;  
  2. // The sample protocol buffer file that Google uses in their examples at   
  3. // http://code.google.com/p/protobuf.   
  4. // Used in this project for tests and examples.  
  5. option java_outer_classname = "AddressBookProtos";  
  6. message Person {  
  7.     required string name = 1;   
  8.     required int32 id = 2;   
  9.     optional string email = 3;  
  10.   
  11.    enum PhoneType {   
  12.              MOBILE = 0;   
  13.              HOME = 1;   
  14.              WORK = 2;  
  15.     }  
  16.   
  17.      message PhoneNumber {   
  18.              required string number = 1;   
  19.              optional PhoneType type = 2 [default = HOME];   
  20.      }  
  21.      repeated PhoneNumber phone = 4;   
  22. }  
  23.   
  24. message AddressBook {  
  25.      repeated Person person = 1;   
  26. }   

      也可以从$ELEPHANT_BIRD_HOME/examples/src/proto/下获取address_book.proto


    2)新建build.xml,代码如下:  

     

Xml代码   收藏代码
  1. <project name="elephant-bird-study" basedir= "." default="generate-protobuf" >  
  2.       <property name="src.dir" location="src" />   
  3.       <property name="src.java.dir" location="${src.dir}/java" />   
  4.       <property name="src.proto.dir" location="${src.dir}/proto" />   
  5.       <property name="src.gen.java.dir" location="${src.dir}/gen-java" />  
  6.   
  7.      <target name="generate-protobuf" >   
  8.            <delete dir="${src.gen.java.dir}"/>   
  9.            <mkdir dir="${src.gen.java.dir}"/>   
  10.            <apply executable="protoc" failonerror="true" skipemptyfilesets="true" verbose="true">                                      
  11.            <arg value="--proto_path=${src.proto.dir}" />      
  12.             <arg value="--java_out=${src.gen.java.dir}" />     
  13.             <arg value="--test_out=${src.gen.java.dir}" />      
  14.             <fileset dir="${src.proto.dir}" includes="**/*.proto" />   
  15.          </apply>  
  16.     </target>  
  17. </project>  

  
        3)通过ant脚本生成address_book.proto对应的代码:

 

           ant generate-protobuf    

           如果不出意外,可以在你工程目录下的src/gen-java看到生成的代码:com.twitter.data.proto.tutorial.AddressBookProtos.java.

 

        4)以上只是通过Protocol Buffer生成了Java,但对应Hadoop的Writable,Pig的LoadFunc还没生成,这里还要使用protoc命令,由protoc去调用一个脚本去生成这些代码.具体如下: 

           i.需要的东西:    

             a)各种jar:

                     elephant-bird-2.1.8.jar,guava-10.0.1.jar,hadoop-core-0.20.2-cdh3u0.jar,hadoop-lzo-0.4.15.jar,protobuf-java-2.3.0.jar,yamlbeans-0.9.3.jar,这些自己下载获取从$ELEPHANT_BIRD_HOME/build/lib/compile或$ELEPHANT_BIRD_HOME/lib下获取 

            b)需要运行elephant-bird脚本,我这里放在$YOUR_PROJECT_HOME/script目录下 

        ii.步骤: 

             a)将以上需要的jar放到你的工程目录下的lib目录中    

             b)更改build.xml,如下:      

Xml代码   收藏代码
  1. <project name="elephant-bird-study" basedir= "." default="generate-protobuf" >  
  2.          <property name="src.dir" location="src" />  
  3.          <property name="src.java.dir" location="${src.dir}/java" />   
  4.          <property name="src.proto.dir" location="${src.dir}/proto" />   
  5.          <property name="src.gen.java.dir" location="${src.dir}/gen-java" />  
  6.   
  7.          <target name="generate-protobuf" >   
  8.                <delete dir="${src.gen.java.dir}"/>   
  9.                <mkdir dir="${src.gen.java.dir}"/>   
  10.                <apply executable="protoc" failonerror="true" skipemptyfilesets="true" verbose="true">                                          <env key="PATH" path="${env.PATH}:${basedir}/script" />    
  11.                    <arg value="--proto_path=${src.proto.dir}" />    
  12.                    <arg value="--java_out=${src.gen.java.dir}" />   
  13.                    <arg value="--twadoop_out=${src.gen.java.dir}" />   
  14.                    <fileset dir="${src.proto.dir}" includes="**/*.proto" />   
  15.               </apply>   
  16.        </target>  
  17. </project>  

 

           增加了<env key="PATH" path="${env.PATH}:${basedir}/script" />,表示将刚才新建的$YOUR_PROJECT_HOME/script下的文件放入path中     

         增加了参数<arg value="--twadoop_out=${src.gen.java.dir}" />,这里elephant-bird有个奇怪的规则,参数名为--twadoop_out,其中twadoop存在规则,他将跟protoc-gen-组成protoc-gen-twadoop做为Protocol Buffer调用elephant-bird的脚本文件名.   

           c)在$YOUR_PROJECT_HOME/script目录下新建脚本protoc-gen-twadoop,内容如下:    

Shell代码   收藏代码
  1. #!/bin/bash  
  2. bindir=`/usr/bin/dirname "$0"`   
  3. /usr/bin/java -cp $bindir/../lib/*: com.twitter.elephantbird.proto.HadoopProtoCodeGenerator $bindir/config-twadoop.yml -  

         以上会将刚拷贝到$YOUR_PROJECT_HOME/lib下的所有jar由java执行,然后会调用com.twitter.elephantbird.proto.HadoopProtoCodeGenerator类去生成所需要的各种代码.想要什么代码,则由config-twadoop.yml配置 

 

       d)注意protoc-gen-twadoop中有config-twadoop.yml,该文件配置elephant-bird想生成代码.文件内容如下:    

Txt代码   收藏代码
  1. address_book:    
  2. - com.twitter.elephantbird.proto.codegen.DeprecatedLzoProtobufBlockInputFormatGenerator    
  3. - com.twitter.elephantbird.proto.codegen.LzoProtobufB64LineInputFormatGenerator    
  4. - com.twitter.elephantbird.proto.codegen.LzoProtobufB64LineOutputFormatGenerator  
  5. #  - com.twitter.elephantbird.proto.codegen.LzoProtobufB64LinePigLoaderGenerator    
  6. - com.twitter.elephantbird.proto.codegen.LzoProtobufBlockInputFormatGenerator    
  7. - com.twitter.elephantbird.proto.codegen.LzoProtobufBlockOutputFormatGenerator  
  8. #  - com.twitter.elephantbird.proto.codegen.LzoProtobufBlockPigLoaderGenerator  
  9. # - com.twitter.elephantbird.proto.codegen.LzoProtobufHiveSerdeGenerator      
  10. - com.twitter.elephantbird.proto.codegen.ProtobufWritableGenerator  
  11. # - com.twitter.elephantbird.proto.codegen.ProtobufBytesToPigTupleGenerator   

     我这里不想生成pig和hive的代码,所以在前面加了个#注释了.


    e)生成代码,再次运行ant generate-protobuf,不出意外的话,YOUR_PROJECT_HOME/src/gen-java就会生成所需要的代码.

 

     注:本博客基于Elephantbird2.1.8

    在github上建了一个开源工程,可以运行ant命令基于elephantbird直接生成代码.地址:

       https://github.com/guoyunsky/elephant-bird-simple


这篇关于elephant-bird的安装和使用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/477972。

相关文章

从零教你安装pytorch并在pycharm中使用

从零教你安装pytorch并在pycharm中使用

《从零教你安装pytorch并在pycharm中使用》本文详细介绍了如何使用Anaconda包管理工具创建虚拟环境,并安装CUDA加速平台和PyTorch库,同时在PyCharm中配置和使用PyTor... 目录背景介绍安装Anaconda安装CUDA安装pytorch报错解决——fbgemm.dll连接p
阅读更多...
Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)

《Vue项目的甘特图组件之dhtmlx-gantt使用教程和实现效果展示(推荐)》文章介绍了如何使用dhtmlx-gantt组件来实现公司的甘特图需求,并提供了一个简单的Vue组件示例,文章还分享了一... 目录一、首先 npm 安装插件二、创建一个vue组件三、业务页面内 引用自定义组件：四、dhtmlx
阅读更多...
使用Python创建一个能够筛选文件的PDF合并工具

使用Python创建一个能够筛选文件的PDF合并工具

《使用Python创建一个能够筛选文件的PDF合并工具》这篇文章主要为大家详细介绍了如何使用Python创建一个能够筛选文件的PDF合并工具,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下... 目录背景主要功能全部代码代码解析1. 初始化 wx.Frame 窗口2. 创建工具栏3. 创建布局和界面控件4
阅读更多...
一文详解如何在Python中使用Requests库

一文详解如何在Python中使用Requests库

《一文详解如何在Python中使用Requests库》：本文主要介绍如何在Python中使用Requests库的相关资料,Requests库是Python中常用的第三方库,用于简化HTTP请求的发... 目录前言1. 安装Requests库2. 发起GET请求3. 发送带有查询参数的GET请求4. 发起PO
阅读更多...
Java中的Cursor使用详解

Java中的Cursor使用详解

《Java中的Cursor使用详解》本文介绍了Java中的Cursor接口及其在大数据集处理中的优势,包括逐行读取、分页处理、流控制、动态改变查询、并发控制和减少网络流量等,感兴趣的朋友一起看看吧... 最近看代码，有一段代码涉及到Cursor，感觉写法挺有意思的。注意是Cursor，而不是Consumer
阅读更多...
Node.js net模块的使用示例

Node.js net模块的使用示例

《Node.jsnet模块的使用示例》本文主要介绍了Node.jsnet模块的使用示例,net模块支持TCP通信,处理TCP连接和数据传输,具有一定的参考价值,感兴趣的可以了解一下... 目录简介引入 net 模块核心概念TCP (传输控制协议)Socket服务器TCP 服务器创建基本服务器服务器配置选项服
阅读更多...
mac安装nvm(node.js)多版本管理实践步骤

mac安装nvm(node.js)多版本管理实践步骤

《mac安装nvm(node.js)多版本管理实践步骤》：本文主要介绍mac安装nvm(node.js)多版本管理的相关资料,NVM是一个用于管理多个Node.js版本的命令行工具,它允许开发者在... 目录NVM功能简介MAC安装实践一、下载nvm二、安装nvm三、安装node.js总结NVM功能简介N
阅读更多...
如何使用CSS3实现波浪式图片墙

如何使用CSS3实现波浪式图片墙

《如何使用CSS3实现波浪式图片墙》：本文主要介绍了如何使用CSS3的transform属性和动画技巧实现波浪式图片墙，通过设置图片的垂直偏移量，并使用动画使其周期性地改变位置，可以创建出动态且具有波浪效果的图片墙，同时，还强调了响应式设计的重要性，以确保图片墙在不同设备上都能良好显示，详细内容请阅读本文，希望能对你有所帮助...
阅读更多...
Rust中的注释使用解读

Rust中的注释使用解读

《Rust中的注释使用解读》本文介绍了Rust中的行注释、块注释和文档注释的使用方法,通过示例展示了如何在实际代码中应用这些注释,以提高代码的可读性和可维护性... 目录Rust 中的注释使用指南1. 行注释示例：行注释2. 块注释示例：块注释3. 文档注释示例：文档注释4. 综合示例总结Rust 中的注释
阅读更多...
python安装whl包并解决依赖关系的实现

python安装whl包并解决依赖关系的实现

《python安装whl包并解决依赖关系的实现》本文主要介绍了python安装whl包并解决依赖关系的实现,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录一、什么是whl文件？二、我们为什么需要使用whl文件来安装python库？三、我们应该去哪儿下
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2