【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

2024-01-21 16:04
文章标签 数据 统计 集群 技术 实践 题目 可视化 搭建 期末 合并 数据处理 考查

本文主要是介绍【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

集群搭建、合并文件与数据统计可视化

  • 实验目的
    • 任务一：
    • 任务二：
  • 实验平台
  • 实验内容及步骤
    • 任务一：搭建具有3个DataNode节点的HDFS集群
      • 集群环境配置
        • 克隆的方式创建 Slave 节点
        • 修改主机名
        • 编辑 hosts 文件
        • 生成密钥
        • 免认证登录
        • 修改 hadoop 的配置文件
        • 编辑 workers 文件
        • 复制配置后的 hadoop 目录传到从机上
      • 启动集群
    • 任务二之实验一 ：编程实现合并文件MergeFile的功能
      • 数据下载与上传至Hadoop
      • 打开 eclipse
      • 编写实现合并文件MergeFile的功能的java代码
      • 启动 Hadoop 并运行 Java 代码，合并文件
      • 查看合并后的文件
    • 任务二之实验二：对网站用户购物行为数据集进行统计分析
      • 数据预处理
      • 查看前 5 行记录，每行记录都包含 5 个字段如下：
      • 对用户的购物行为“behavior_type”进行统计，并将统计结果通过柱状图进行呈现
      • 按月对用户的购物行为“behavior\_type”进行统计，并将结果通过柱状图进行呈现
  • 总结
  • 实验报告下载

实验目的

任务一：

采用虚拟机的方式搭建一个具有3个DataNode节点的HDFS集群，将搭建过程记录在实验报告中。采用虚拟机的方式，先配置好Hadoop的主节点，然后通过克隆的方式创建Slave节点，实现3节点的HDFS集群

任务二：

实验一：使用任务一搭建的集群，编程实现合并文件MergeFile的功能：

将数据集trec06p\_sample中的文件合并成为一个文件。假设集群的用户目录为hdfs://localhost:9000/user/hadoop，将合并的结果输出到hdfs://localhost:9000/user/hadoop/merge.txt 中

实验二：使用任务一搭建的集群，对网站用户购物行为数据集进行统计分析：

对用户的购物行为“behavior\_type”进行统计，并将统计结果通过柱状图进行呈现按月对用户的购物行为“behavior\_type”进行统计，并将结果通过柱状图进行呈现

实验平台

  • 操作系统：Linux（CentOS）
  • 可视化工具：R语言
  • JDK 版本：1.8
  • Java IDE
  • Eclipse
  • Hadoop

实验内容及步骤

任务一：搭建具有3个DataNode节点的HDFS集群

集群环境配置

克隆的方式创建 Slave 节点
  • 1.采用虚拟机的方式，先配置好 Hadoop 的主节点, 此处选用之前配置好的节点作为 master 主机，然后通过克隆的方式创建 Slave 节点，实现 3 节点的 HDFS 集群
    在这里插入图片描述
修改主机名
  • 2.修改主机名，三台虚拟机都要进行的
	#给3台虚拟机设置主机名分别为master、s1和s2。#在第一台机器操作hostnamectl set-hostname master#在第二台机器操作hostnamectl set-hostname s1#在第三台机器操作hostnamectl set-hostname s2

设置完毕后需重启虚拟机：reboot

编辑 hosts 文件
  • 3.编辑 hosts 文件使三者之间能够通信，三台虚拟机都要进行的
	# hosts 配置文件是用来把主机名字映射到IP地址的方法# 编辑hosts文件,进入编辑模式 i：sudo vi /etc/hosts# 在最后添加192.168.62.128 master192.168.62.129 s1192.168.62.130 s2

在这里插入图片描述

生成密钥
    1. 在主机上生成密钥, 三台主机都操作
ssh-keygen -b 1024 -t rsa

在这里插入图片描述

免认证登录
    1. 使 master 能免认证登录其他两个主机
#进入 .ssh目录中
cd .ssh
#id_rsa:私钥 id_rsa.pub :公钥
#在master中对s1和s2进行免密登录？需要把master的公钥放到s1和s2的authorized_key文件里
# 查看mster的公钥
cat id_rsa.pub
# 在master的.ssh目录中执行
ssh-copy-id s1
ssh-copy-id s2
ssh-copy-id master
# s1和s2之间免密登录
#在s1的.ssh目录中执行
ssh-copy-id s2
#在s2的.ssh目录中执行
ssh-copy-id s1
#在master验证能否免密登录
ssh s1

在这里插入图片描述
在这里插入图片描述

修改 hadoop 的配置文件

（注意各配置文件中配置的路径要修改成自己虚拟机实际的相关环境配置路径）

#进入Hadoop的/etc目录下。注意这个路径要根据自己虚拟机中Hadoop的安装路径修改
cd /home/user/usr/demo/hadoop-3.2.4/etc/hadoop

修改hadoop-env.sh文件
vim hadoop-env.sh
#修改JAVA_HOME的路径
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.382.b05-1.el7_9.x86_64

# 修改yarn-env.sh文件的JAVA_HOME。
vim yarn-env.sh
#修改JAVA_HOME的路径
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.382.b05-1.el7_9.x86_64

# 修改core-site.xml文件
vim core-site.xml
# 添加
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/user/demo/hadoop-3.2.4/tmp</value></property>
</configuration>

# 配置hdfs-site.xml
vim hdfs-site.xml
# 添加
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>
</configuration>

# 编辑mapred-site.xml文件
vim mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

# 编辑yarn-site.xml文件
vim yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
编辑 workers 文件
# 编辑 workers 文件
vim workers
# 添加
master
s1
s2
复制配置后的 hadoop 目录传到从机上
scp -r /home/user/usr/demo/hadoop-3.2.4/ s1:/home/user/usr/demo/hadoop-3.2.4/
scp -r /home/user/usr/demo/hadoop-3.2.4/ s2:/home/user/usr/demo/hadoop-3.2.4/

启动集群

  1. 在 master 上面使用start-all.sh 启动
    在这里插入图片描述

  2. 通过web端访问http://master:8088/cluster 查看当前集群的进程状态
    在这里插入图片描述

  3. 通过hadoop dfsadmin -report查看当前集群的进程状态，具有3个节点
    在这里插入图片描述

任务二之实验一 ：编程实现合并文件MergeFile的功能

使用任务一搭建的集群，编程实现合并文件MergeFile的功能：将数据集trec06p_sample中的文件合并成为一个文件。假设集群的用户目录为hdfs://localhost:9000/user/hadoop，将合并的结果输出到hdfs://localhost:9000/user/hadoop/merge.txt 中

数据下载与上传至Hadoop

将数据集– trec06p_sample/126下载解压到虚拟机的Downloads目录下，并上传到集群的hdfs://master:9000/user/hadoop/目录下

# 解压
unzip trec06p_sample.zip -d trec06p_sample
#上传
hdfs dfs -put trec06p_sample /user/hadoop
#查看上传后的文件
hdfs dfs -ls -h /user/hadoop/trec06p_sample/126/

在这里插入图片描述

打开 eclipse

cd /usr/local/eclipse
./eclipse

编写实现合并文件MergeFile的功能的java代码

import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;public class MergeAllFilesInDirectory {static class MyPathFilter implements PathFilter {public boolean accept(Path path) {return true; // 接受所有文件}}public static void main(String[] args) throws IOException {// 输入目录和输出文件路径String inputPath = "hdfs://master:9000/user/hadoop/trec06p_sample/126/";String outputPath = "hdfs://master:9000/user/hadoop/merge.txt";Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://master:9000");conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");FileSystem fsSource = FileSystem.get(URI.create(inputPath), conf);FileSystem fsDst = FileSystem.get(URI.create(outputPath), conf);// 获取目录下所有文件FileStatus[] sourceStatus = fsSource.listStatus(new Path(inputPath), new MyPathFilter());// 创建输出文件FSDataOutputStream fsdos = fsDst.create(new Path(outputPath));// 逐个读取文件并写入到输出文件中for (FileStatus status : sourceStatus) {FSDataInputStream fsdis = fsSource.open(status.getPath());byte[] data = new byte[1024];int read = -1;// 打印文件信息System.out.println("路径：" + status.getPath() + "    文件大小：" + status.getLen()+ "   权限：" + status.getPermission());while ((read = fsdis.read(data)) > 0) {fsdos.write(data, 0, read);}fsdis.close();}fsdos.close();fsSource.close();fsDst.close();}
}

启动 Hadoop 并运行 Java 代码，合并文件

在这里插入图片描述

查看合并后的文件

查看合并的结果：hdfs://localhost:9000/user/hadoop/merge.txt
通过web访问http://localhost:9870/explorer.html/user/hadoop，可以查看合并后的文件
在这里插入图片描述
通过命令行使用 cat 命令查看合并后文件内容

hdfs dfs -cat /user/hadoop/merge.txt

在这里插入图片描述

任务二之实验二：对网站用户购物行为数据集进行统计分析

使用任务一搭建的集群，对网站用户购物行为数据集进行统计分析：

  1. 对用户的购物行为“behavior_type”进行统计，并将统计结果通过柱状图进行呈现
  2. 按月对用户的购物行为“behavior_type”进行统计，并将结果通过柱状图进行呈现

数据预处理

将数据集small_user下载解压到虚拟机的Downloads目录下，并上传到集群的hdfs://master:9000/user/hadoop/目录下

unzip small_user.zip //解压
head -5 small_user.csv //查看前几行

在这里插入图片描述

查看前 5 行记录，每行记录都包含 5 个字段如下：

  • user_id（用户id）
  • item_id(商品id)
  • behaviour_type（包括浏览、收藏、加购物车、购买，对应取值分别是1、2、3、4）
  • user_geohash(用户地理位置哈希值，有些记录中没有这个字段,且实验中不需要用到，后续把这个字段全部删除)
  • item_category（商品分类）
  • time（该记录产生时间）
head -5 small_user.csv

在这里插入图片描述

对用户的购物行为“behavior_type”进行统计，并将统计结果通过柱状图进行呈现

//首先在集群中安装R语言，然后通过运行下面R代码进行统计与可视化
# 读取数据
data <- read.csv("/home/user/Downloads/small_user.csv")# 统计用户行为类型
behavior_counts <- table(data$behavior_type)# 转换成数据框
behavior_data <- as.data.frame(behavior_counts)
names(behavior_data) <- c("Behavior_Type", "Count")# 绘制柱状图
library(ggplot2)ggplot(behavior_data, aes(x = factor(Behavior_Type), y = Count)) +
geom_bar(stat = "identity", fill = "gray", width = 0.1) +  # 调整柱子宽度为0.5
labs(title = "User Behavior Count", x = "Behavior Type", y = "Count") +
theme_minimal() +
theme(axis.text.x = element_text(angle = 45, hjust = 1))

在这里插入图片描述

从上图可以得到:大部分消费者行为仅仅只是浏览。只有很少部分的消费者会购买商品。

按月对用户的购物行为“behavior_type”进行统计，并将结果通过柱状图进行呈现

# 读取数据
data <- read.csv("/home/user/Downloads/small_user.csv")# 提取月份信息
data$month <- substr(data$time, 6, 7)# 使用ggplot绘制柱状图
library(ggplot2)ggplot(data, aes(x = factor(behavior_type), fill = factor(month), color = factor(month))) +
geom_bar(position = "dodge", width = 0.1) +
labs(title = "每月用户行为统计", x = "behavior_type", y = "count") +
theme_minimal() +
theme(axis.text.x = element_text(angle = 45, hjust = 1)) +
scale_color_manual(values = c("01" = "red", "02" = "blue")) +
guides(color = FALSE) +
facet_grid(. ~ month)

在这里插入图片描述

总结

本次实验深入探索了HDFS集群搭建及大数据处理技术的应用。成功地搭建了具有三个DataNode节点的HDFS集群，通过两种方式实现了该目标。在文件合并和统计分析实验中，我们编程实现了文件合并功能，并成功输出到HDFS指定路径。针对网站用户购物行为数据集，我们对用户行为进行了全面的统计分析，并通过柱状图清晰展现了购物行为的分布情况，为后续数据挖掘提供了可视化支持。这次实验不仅加深了对HDFS集群搭建的理解，也锻炼了在大数据环境下进行文件操作和数据分析的能力。未来的工作将进一步探索大数据技术，以更广泛的数据集和更复杂的分析挑战来拓展这些技能。

实验报告下载

下载

这篇关于【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/630065。

相关文章

Python获取中国节假日数据记录入JSON文件

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢？我尝试一种更为智能的方法：P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验，
阅读更多...
SpringBoot3实现Gzip压缩优化的技术指南

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N
阅读更多...
使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
MySQL双主搭建+keepalived高可用的实现

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制，确认复制是否成功4.同
阅读更多...
Spring Boot 配置文件之类型、加载顺序与最佳实践记录

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio
阅读更多...
Java利用JSONPath操作JSON数据的技术指南

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath？3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4
阅读更多...
Python中随机休眠技术原理与应用详解

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2
阅读更多...
MySQL大表数据的分区与分库分表的实现

MySQL大表数据的分区与分库分表的实现

《MySQL大表数据的分区与分库分表的实现》数据库的分区和分库分表是两种常用的技术方案,本文主要介绍了MySQL大表数据的分区与分库分表的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有... 目录1. mysql大表数据的分区1.1 什么是分区？1.2 分区的类型1.3 分区的优点1.4 分
阅读更多...
Mysql删除几亿条数据表中的部分数据的方法实现

Mysql删除几亿条数据表中的部分数据的方法实现

《Mysql删除几亿条数据表中的部分数据的方法实现》在MySQL中删除一个大表中的数据时,需要特别注意操作的性能和对系统的影响,本文主要介绍了Mysql删除几亿条数据表中的部分数据的方法实现,具有一定... 目录1、需求2、方案1. 使用 DELETE 语句分批删除2. 使用 INPLACE ALTER T
阅读更多...
tomcat多实例部署的项目实践

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录，测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2