本文主要是介绍四款有名的开源海量数据采集工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
http://hi.baidu.com/nullbeta/blog/item/76e2781549d76e1d34fa418f.html
面对海量数据,传统的ETL(Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载)工具显得力不从心,主要是数据转换开销太大,在性能上无法满足海量数据的采集需求。下面向大家介绍四款开源的海量数据采集工具。
Facebook的Scribe
https://github.com/pcting/scribe/
LinkedIn的Kafka
http://sna-projects.com/kafka/downloads.php
淘宝的Timetunnel
http://code.taobao.org/project/view/411/
Hadoop的Chukwa
http://incubator.apache.org/chukwa/
这篇关于四款有名的开源海量数据采集工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!