本文主要是介绍实时处理练习,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
文章目录
- 1 提出任务
- 1.1 实时数据采集
- 2 完成任务
- 2.1 创建Flume运行的配置文件
- 2.2 安装netcat
- 2.3 启动flume
- 2.4 启动netcat
- 2.5 Kafka消费数据
- 2.5 查看HDFS上的备份数据
1 提出任务
1.1 实时数据采集
- 在主节点使用 Flume 采集实时数据生成器 10050 端口的 socket 数据,将数据存入到 Kafka 的 Topic 中(Topic 名称为 order,分区数为 4),使用 Kafka 自带的消费者消费 order(Topic)中的数据,将前 2 条数据的结果截图粘贴至客户端桌面【Release\任务
D 提交结果.docx】中对应的任务序号下; - 采用多路复用模式,Flume 接收数据注入 kafka 的同时,将数据备份到 HDFS 目录
/user/test/flumebackup
下,将查看备份目录
下的第一个文件的前 2 条数据的命令与结果截图粘贴至客户端桌面【Release\任务 D 提交
这篇关于实时处理练习的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!