本文主要是介绍Hadoop Streaming 和Hadoop Pipes的区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Hadoop Streaming是Hadoop为方便非Java用户编写MapReduce程序而设计的工具包,它允许用户将任何可执行文件或脚本作为Mappper/Reducer,可以大大提高程序员的开发效率。要求用户编写的Mapper/Reducer从标准输入中读取数据,并将结果写入到标准数据中,类似于Linux中的管道数据。
Hadoop Pipes是Hadoop为方便C/C++用户编写MapReduce程序而设计的工具,设计思想是将应用逻辑相关的C++代码放在单独的进程中,然后通过Socket让Java代码与C++代码通信以完成数据计算。和Hadoop Streaming相比,Hadoop Piepes的一个缺点是调试不方便,因为输入的数据时Java端代码通过Socket传到C++应用程序的,所以用户不能单独对C++部分代码进行测试,需要连同Java端一起启动。
这篇关于Hadoop Streaming 和Hadoop Pipes的区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!