Liunx安装Flume和生产环境配置

2024-06-06 13:58
文章标签 配置 安装 环境 生产 flume liunx

本文主要是介绍Liunx安装Flume和生产环境配置，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

二、Flume下载

官网：http://flume.apache.org

下载：http://www.apache.org/dist/flume

#远程下载 版本1.8
wget http://www.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

三、Flume安装

1、解压压缩包

tar -zxvf apache-flume-1.8.0-bin.tar.gz

2、配置环境变量

#配置当前用户环境变量
vi ~/.bash_profile#在文件中添加如下命令，记得切换自己文件路径
export FLUME_HOME=/home/app/apache-flume-1.8.0
export PATH=$FLUME_HOME/bin:$PATH#立即生效
source ~/.bash_profile

四、侦听网络端口数据

1、新增flume-port.conf文件

vi flume-port.conf

2、编辑flume-port.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里采用监听网络端口
#source的类型为网络字节流
a1.sources.r1.type = netcat#source监听的网络的hostname
a1.sources.r1.bind = woniu2#source监听的网络的port
a1.sources.r1.port = 9527###################################################################### 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger###################################################################### 描述channel的部分，使用内存做数据的临时存储
#channel的类型使用内存进行数据缓存，这是最常见的一种channel
a1.channels.c1.type = memory#定义了channel对的容量
a1.channels.c1.capacity = 1000#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 100 ###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-port.conf -Dflume.root.logger=INFO,console

4、安装telnet

#安装telnet-server
yum install -y telnet-server.x86_64#安装telnet
yum install -y telnet.x86_64

5、发送数据

#连接
telnet woniu2 9527

6、测试案例 

五、侦听新增文件

1、新增flume-file.conf文件

vi flume-file.conf

2、编辑flume-file.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里采用监听目录中的新增文件
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/data/flume
a1.sources.r1.fileSuffix = .woniu
# a1.sources.r1.deletePolicy = immediate
a1.sources.r1.deletePolicy = never
a1.sources.r1.fileHeader = true###################################################################### 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger###################################################################### 描述channel的部分，使用内存做数据的临时存储#channel的类型使用内存进行数据缓存，这是最常见的一种channel
a1.channels.c1.type = memory#定义了channel对的容量
a1.channels.c1.capacity = 1000#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 100###################################################################### 使用channel将source和sink连接起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-file.conf -Dflume.root.logger=INFO,console

4、测试案例

六、监听文件中的新增数据

1、创建目录

存放检查点数据：/home/data/flume/checkpoint

存放channel的数据：/home/data/flume/data

2、新增flume-content.conf文件

vi flume-content.conf

3、编辑flume-file.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/data/flume/woniu.log###################################################################### 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger###################################################################### 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-content.conf -Dflume.root.logger=INFO,console

5、写数据

echo hello woniu >> woniu.log

6、测试案例

七、flume数据保存到HDFS

1、安装hadoop

https://blog.csdn.net/u011374856/article/details/103310627

2、创建目录

存放检查点数据：/home/data/flume/checkpoint

存放channel的数据：/home/data/flume/data

3、新增flume-hdfs.conf文件

vi flume-hdfs.conf

4、编辑flume-hdfs.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/data/flume/woniu.log###################################################################### 采集的数据的下沉(落地)方式 存储到hdfs
a1.sinks.k1.type = hdfs#存储路径
a1.sinks.k1.hdfs.path = hdfs://10.0.7.62:6001/flume/%Y%m%d# 文件生成后的前缀
a1.sinks.k1.hdfs.filePrefix = ttpark# 文件生成后的后缀
a1.sinks.k1.hdfs.fileSuffix = .log# 文件使用时的前缀
a1.sinks.k1.hdfs.inUsePrefix = woniu.# 文件使用时的后缀
a1.sinks.k1.hdfs.inUseSuffix = .txta1.sinks.k1.hdfs.rollInterval = 60a1.sinks.k1.hdfs.rollSize = 0a1.sinks.k1.hdfs.rollCount = 0a1.sinks.k1.hdfs.useLocalTimeStamp = true# 默认为SequenceFile，查看hdfs上的文件时为序列化的
a1.sinks.k1.hdfs.fileType = DataStream# 上面的要配置，这个也要配置，写入的数据格式为文本内容
a1.sinks.k1.hdfs.writeFormat = Text# 下面这个配置选项不加，那么rollInterval rollSize rollCount是不会生效的
a1.sinks.k1.hdfs.minBlockReplicas = 1###################################################################### 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5、拷贝hadoop的jar包

#hadoop-common
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/hadoop-common-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/#woodstox-core#stax2-api
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/stax-api-1.0-2.jar $FLUME_HOME/lib/#commons-configuration
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/commons-configuration-1.6.jar $FLUME_HOME/lib/#hadoop-auth
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/hadoop-auth-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/#htrace-core4
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/htrace-core4-4.0.1-incubating.jar $FLUME_HOME/lib/#hadoop-hdfs
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/

6、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-hdfs.conf -Dflume.root.logger=INFO,console

7、写数据

echo hello woniu >> woniu.log

八、flume数据发送到Kafka

1、安装kafka

https://blog.csdn.net/u011374856/article/details/103471001

2、新增flume-kafka.conf文件

vi flume-kafka.conf

3、编辑flume-kafka.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/data/flume/woniu.log###################################################################### 采集的数据的下沉(落地)方式 存储到hdfs
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink#kafka server的地址
a1.sinks.k1.brokerList = 10.0.7.62:9092#topic
a1.sinks.k1.topic = woniu_topic_yaoa1.sinks.k1.batchSize = 5a1.sinks.k1.requiredAcks = 1###################################################################### 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-kafka.conf -Dflume.root.logger=INFO,console

5、写数据

echo hello woniu >> woniu.log

 

这篇关于Liunx安装Flume和生产环境配置的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1036305。

相关文章

SQL Server配置管理器无法打开的四种解决方法

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一：桌面图标进入方法二：运行窗口进入检查版本号对照表php方法三：查找文件路径方法四：检查 S
阅读更多...
Python中win32包的安装及常见用途介绍

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,：本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作
阅读更多...
Linux中SSH服务配置的全面指南

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH（SecureShell）服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素
阅读更多...
SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs
阅读更多...
嵌入式数据库SQLite 3配置使用讲解

嵌入式数据库SQLite 3配置使用讲解

《嵌入式数据库SQLite3配置使用讲解》本文强调嵌入式项目中SQLite3数据库的重要性,因其零配置、轻量级、跨平台及事务处理特性,可保障数据溯源与责任明确,详细讲解安装配置、基础语法及SQLit... 目录0、惨痛教训1、SQLite3环境配置（1）、下载安装SQLite库（2）、解压下载的文件（3）、
阅读更多...
Linux如何快速检查服务器的硬件配置和性能指标

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程（几C？）1. 使用 nproc（最简单）2. 使用 lscpu（详细信
阅读更多...
Nginx 重写与重定向配置方法

Nginx 重写与重定向配置方法

《Nginx重写与重定向配置方法》Nginx重写与重定向区别：重写修改路径（客户端无感知）,重定向跳转新URL（客户端感知）,try_files检查文件/目录存在性,return301直接返回永久重... 目录一.try_files指令二.return指令三.rewrite指令区分重写与重定向重写: 请求
阅读更多...
Nginx 配置跨域的实现及常见问题解决

Nginx 配置跨域的实现及常见问题解决

《Nginx配置跨域的实现及常见问题解决》本文主要介绍了Nginx配置跨域的实现及常见问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来... 目录1. 跨域1.1 同源策略1.2 跨域资源共享（CORS）2. Nginx 配置跨域的场景2.1
阅读更多...
gitlab安装及邮箱配置和常用使用方式

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》：本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的
阅读更多...
MySQL MCP 服务器安装配置最佳实践

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2