Liunx安装Flume和生产环境配置

2024-06-06 13:58
文章标签 liunx flume 安装 配置 环境 生产

本文主要是介绍Liunx安装Flume和生产环境配置，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、简介

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

二、Flume下载

官网：http://flume.apache.org

下载：http://www.apache.org/dist/flume

#远程下载 版本1.8
wget http://www.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

三、Flume安装

1、解压压缩包

tar -zxvf apache-flume-1.8.0-bin.tar.gz

2、配置环境变量

#配置当前用户环境变量
vi ~/.bash_profile#在文件中添加如下命令，记得切换自己文件路径
export FLUME_HOME=/home/app/apache-flume-1.8.0
export PATH=$FLUME_HOME/bin:$PATH#立即生效
source ~/.bash_profile

四、侦听网络端口数据

1、新增flume-port.conf文件

vi flume-port.conf

2、编辑flume-port.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里采用监听网络端口
#source的类型为网络字节流
a1.sources.r1.type = netcat#source监听的网络的hostname
a1.sources.r1.bind = woniu2#source监听的网络的port
a1.sources.r1.port = 9527###################################################################### 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger###################################################################### 描述channel的部分，使用内存做数据的临时存储
#channel的类型使用内存进行数据缓存，这是最常见的一种channel
a1.channels.c1.type = memory#定义了channel对的容量
a1.channels.c1.capacity = 1000#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 100 ###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-port.conf -Dflume.root.logger=INFO,console

4、安装telnet

#安装telnet-server
yum install -y telnet-server.x86_64#安装telnet
yum install -y telnet.x86_64

5、发送数据

#连接
telnet woniu2 9527

6、测试案例 

五、侦听新增文件

1、新增flume-file.conf文件

vi flume-file.conf

2、编辑flume-file.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里采用监听目录中的新增文件
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/data/flume
a1.sources.r1.fileSuffix = .woniu
# a1.sources.r1.deletePolicy = immediate
a1.sources.r1.deletePolicy = never
a1.sources.r1.fileHeader = true###################################################################### 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger###################################################################### 描述channel的部分，使用内存做数据的临时存储#channel的类型使用内存进行数据缓存，这是最常见的一种channel
a1.channels.c1.type = memory#定义了channel对的容量
a1.channels.c1.capacity = 1000#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 100###################################################################### 使用channel将source和sink连接起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

3、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-file.conf -Dflume.root.logger=INFO,console

4、测试案例

六、监听文件中的新增数据

1、创建目录

存放检查点数据：/home/data/flume/checkpoint

存放channel的数据：/home/data/flume/data

2、新增flume-content.conf文件

vi flume-content.conf

3、编辑flume-file.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/data/flume/woniu.log###################################################################### 采集的数据的下沉(落地)方式 通过日志
#sink的类型为logger日志方式，log4j的级别有INFO、Console、file
a1.sinks.k1.type = logger###################################################################### 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-content.conf -Dflume.root.logger=INFO,console

5、写数据

echo hello woniu >> woniu.log

6、测试案例

七、flume数据保存到HDFS

1、安装hadoop

https://blog.csdn.net/u011374856/article/details/103310627

2、创建目录

存放检查点数据：/home/data/flume/checkpoint

存放channel的数据：/home/data/flume/data

3、新增flume-hdfs.conf文件

vi flume-hdfs.conf

4、编辑flume-hdfs.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/data/flume/woniu.log###################################################################### 采集的数据的下沉(落地)方式 存储到hdfs
a1.sinks.k1.type = hdfs#存储路径
a1.sinks.k1.hdfs.path = hdfs://10.0.7.62:6001/flume/%Y%m%d# 文件生成后的前缀
a1.sinks.k1.hdfs.filePrefix = ttpark# 文件生成后的后缀
a1.sinks.k1.hdfs.fileSuffix = .log# 文件使用时的前缀
a1.sinks.k1.hdfs.inUsePrefix = woniu.# 文件使用时的后缀
a1.sinks.k1.hdfs.inUseSuffix = .txta1.sinks.k1.hdfs.rollInterval = 60a1.sinks.k1.hdfs.rollSize = 0a1.sinks.k1.hdfs.rollCount = 0a1.sinks.k1.hdfs.useLocalTimeStamp = true# 默认为SequenceFile，查看hdfs上的文件时为序列化的
a1.sinks.k1.hdfs.fileType = DataStream# 上面的要配置，这个也要配置，写入的数据格式为文本内容
a1.sinks.k1.hdfs.writeFormat = Text# 下面这个配置选项不加，那么rollInterval rollSize rollCount是不会生效的
a1.sinks.k1.hdfs.minBlockReplicas = 1###################################################################### 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5、拷贝hadoop的jar包

#hadoop-common
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/hadoop-common-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/#woodstox-core#stax2-api
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/stax-api-1.0-2.jar $FLUME_HOME/lib/#commons-configuration
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/commons-configuration-1.6.jar $FLUME_HOME/lib/#hadoop-auth
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/hadoop-auth-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/#htrace-core4
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/common/lib/htrace-core4-4.0.1-incubating.jar $FLUME_HOME/lib/#hadoop-hdfs
cp /home/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.15.1.jar $FLUME_HOME/lib/

6、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-hdfs.conf -Dflume.root.logger=INFO,console

7、写数据

echo hello woniu >> woniu.log

八、flume数据发送到Kafka

1、安装kafka

https://blog.csdn.net/u011374856/article/details/103471001

2、新增flume-kafka.conf文件

vi flume-kafka.conf

3、编辑flume-kafka.conf文件

######################################################################定义了当前agent的名字叫做a1
##定了该agent中的sources组件叫做r1
a1.sources = r1##定了该agent中的sinks组件叫做k1
a1.sinks = k1##定了该agent中的channels组件叫做c1
a1.channels = c1###################################################################### 监听数据源的方式，这里监听文件中的新增数据
a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/data/flume/woniu.log###################################################################### 采集的数据的下沉(落地)方式 存储到hdfs
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink#kafka server的地址
a1.sinks.k1.brokerList = 10.0.7.62:9092#topic
a1.sinks.k1.topic = woniu_topic_yaoa1.sinks.k1.batchSize = 5a1.sinks.k1.requiredAcks = 1###################################################################### 描述channel的部分，使用内存做数据的临时存储
a1.channels.c1.type = file# 存放检查点数据
a1.channels.c1.checkpointDir = /home/data/flume/checkpoint#定义channel的最大的事务容量
a1.channels.c1.transactionCapacity = 1000000# 存放channel的数据
a1.channels.c1.dataDirs = /home/data/flume/data###################################################################### 使用channel将source和sink连接起来
# 需要将source和sink使用channel连接起来，组成一个类似流水管道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

4、启动flume

./flume-ng agent -c /home/app/apache-flume-1.8.0/conf -n a1 \
-f /home/app/apache-flume-1.8.0/conf/flume-kafka.conf -Dflume.root.logger=INFO,console

5、写数据

echo hello woniu >> woniu.log

 

这篇关于Liunx安装Flume和生产环境配置的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1036305。

相关文章

ESP32 esp-idf esp-adf环境安装及.a库创建与编译

ESP32 esp-idf esp-adf环境安装及.a库创建与编译

简介 ESP32 功能丰富的 Wi-Fi & 蓝牙 MCU, 适用于多样的物联网应用。使用freertos操作系统。 ESP-IDF 官方物联网开发框架。 ESP-ADF 官方音频开发框架。 文档参照 https://espressif-docs.readthedocs-hosted.com/projects/esp-adf/zh-cn/latest/get-started/index
阅读更多...
Linux 安装、配置Tomcat 的HTTPS

Linux 安装、配置Tomcat 的HTTPS

Linux 安装 、配置Tomcat的HTTPS 安装Tomcat 这里选择的是 tomcat 10.X ,需要Java 11及更高版本 Binary Distributions ->Core->选择 tar.gz包 下载、上传到内网服务器 /opt 目录tar -xzf 解压将解压的根目录改名为 tomat-10 并移动到 /opt 下, 形成个人习惯的路径 /opt/tomcat-10
阅读更多...
uniapp接入微信小程序原生代码配置方案（优化版）

uniapp接入微信小程序原生代码配置方案（优化版）

uniapp项目需要把微信小程序原生语法的功能代码嵌套过来，无需把原生代码转换为uniapp，可以配置拷贝的方式集成过来 1、拷贝代码包到src目录 2、vue.config.js中配置原生代码包直接拷贝到编译目录中 3、pages.json中配置分包目录，原生入口组件的路径 4、manifest.json中配置分包，使用原生组件 5、需要把原生代码包里的页面修改成组件的方
阅读更多...
UnrealScriptIDE调试环境部署

UnrealScriptIDE调试环境部署

先安装vs2010   再安装VSIsoShell.exe， 下载地址 https://pan.baidu.com/s/10kPNUuDGTbWXbz7Nos-1WA       fd3t   最后安装unside，下载地址 https://archive.codeplex.com/?p=uside  安装中间有一步选择Binary文件夹要选对路径。   安装好以后，启动 UDKDe
阅读更多...
VMware9.0详细安装

VMware9.0详细安装

双击VMware-workstation-full-9.0.0-812388.exe文件： 直接点Next; 这里，我选择了Typical（标准安装）。 因为服务器上只要C盘，所以我选择安装在C盘下的vmware文件夹下面，然后点击Next; 这里我把√取消了，每次启动不检查更新。然后Next； 点击Next； 创建快捷方式等，点击Next； 继续Cont
阅读更多...
vcpkg安装opencv中的特殊问题记录（无法找到opencv_corexd.dll）

vcpkg安装opencv中的特殊问题记录（无法找到opencv_corexd.dll）

我是按照网上的vcpkg安装opencv方法进行的（比如这篇：从0开始在visual studio上安装opencv（超详细，针对小白）），但是中间出现了一些别人没有遇到的问题，虽然原因没有找到，但是本人给出一些暂时的解决办法： 问题1： 我在安装库命令行使用的是 .\vcpkg.exe install opencv 我的电脑是x64，vcpkg在这条命令后默认下载的也是opencv2:x6
阅读更多...
IDEA配置Tomcat远程调试

IDEA配置Tomcat远程调试

因为不想把本地的Tomcat配置改乱或者多人开发项目想测试，本文主要是记录一下，IDEA使用Tomcat远程调试的配置过程，免得一段时间不去配置到时候忘记（毕竟这次是因为忘了，所以才打算记录的…） 首先在catalina.sh添加以下内容 JAVA_OPTS="-Dcom.sun.management.jmxremote=-Dcom.sun.management.jmxremote.port
阅读更多...
【服务器运维】CentOS6 minimal 离线安装MySQL5.7

【服务器运维】CentOS6 minimal 离线安装MySQL5.7

1.准备安装包（版本因人而异，所以下面的命令中版本省略，实际操作中用Tab自动补全就好了） cloog-ppl-0.15.7-1.2.el6.x86_64.rpmcpp-4.4.7-23.el6.x86_64.rpmgcc-4.4.7-23.el6.x86_64.rpmgcc-c++-4.4.7-23.el6.x86_64.rpmglibc-2.12-1.212.el6.x86_64.r
阅读更多...
【服务器运维】CentOS7 minimal 离线安装 gcc perl vmware-tools

【服务器运维】CentOS7 minimal 离线安装 gcc perl vmware-tools

0. 本机在有网的情况下，下载CentOS镜像 https://www.centos.org/download/ 1. 取出rpm 有的情况可能不需要net-tools，但是如果出现跟ifconfig相关的错误，就把它安装上。另外如果不想升级内核版本的话，就找对应内核版本的rpm版本安装 perl-Time-Local-1.2300-2.el7.noarch.rpmperl-Tim
阅读更多...
Windows/macOS/Linux 安装 Redis 和 Redis Desktop Manager 可视化工具

Windows/macOS/Linux 安装 Redis 和 Redis Desktop Manager 可视化工具

本文所有安装都在macOS High Sierra 10.13.4进行，Windows安装相对容易些，Linux安装与macOS类似，文中会做区分讲解 1. Redis安装 1.下载Redis https://redis.io/download 把下载的源码更名为redis-4.0.9-source，我喜欢跟maven、Tomcat放在一起，就放到/Users/zhan/Documents
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2