flume1.8专题

flume1.8 Sources类型介绍(二)

1 Flume Sources 1.1 Avro Source 监听Avro端口,从Avro client streams接收events。要求属性是粗体字。   agent a1例子: ipFilterRules例子: ipFilterRules=allow:ip:127.*,  allow:name:localhost,deny:ip:* 1.2 Thrift Source 监听Thrif

flume1.8 Interceptors拦截器(五)

1. Flume Interceptors Flume有能力修改/删除流程中的events。这是在拦截器(interceptor)的帮助下完成的。拦截器(Interceptors)是实现org.apache.flume.interceptor.Interceptor接口的类。一个interceptor可以根据interceptor的开发者选择的任何标准来修改,甚至放弃events。这个可以通过在

flume1.8 Channel类型介绍(四)

1. Flume Channel Channels是events在agent上进行的存储库。Source添加events,Sink移除events。 1.1 Memory Channel(内存Channels) events存储在配置最大大小的内存队列中。对于流量较高和由于agent故障而准备丢失数据的流程来说,这是一个理想的选择。 agent a1示例: 1.2 JDBC Channel

flume1.8 Sinks类型介绍(三)

1. Flume Sinks 1.1 HDFS Sink 该sink把events写进Hadoop分布式文件系统(HDFS)。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性(如时间戳或发生事件的机器)把数据划分为桶或区。 agent a1的示例: 上述配置会将时间戳降到最后10分钟。例如,带有11:54:3

flume1.8 基础架构介绍(一)

1. 系统要求 1. Java运行环境 —— Java 1.8及以上 2. 内存 —— 足够的内存供配置的sources,channels 或者sinks使用 3. 硬盘空间 —— 足够的硬盘空间供配置的channels或者sinks使用 4. 文件权限 —— agent使用的文件夹读写权限 2. 架构及数据流模型 模型介绍详情参考:http://www.cnblogs.com/swordf