Spark + Python《同桌的你》歌曲评论听众信息分析

Fan Shiqing @Xiamen University

实验环境安装

Linux：Ubuntu16.04
Java：1.7.0_80
Hadoop：2.7.1
Python：2.7
PyCharm：2019.1.2(Community Edition)
matplotlib：2.0.0
Spark：2.1.0

下载数据集

数据集为某音乐平台歌曲《同桌的你》评论者的信息数据，包含评论者的用户ID、动态总数、关注总数、粉丝总数、所在地区、个人介绍、年龄、累计听歌总数属性。共4752条数据，部分如下图：

数据集的预处理

• 将txt文件转为csv文件
• 修改文件属性名称方便读写
  

使用Spark进行数据分析

• 读入数据并筛选需要用到的属性

sc =SparkContext()
sqlContext = SQLContext(sc)
data = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('commenters.csv')
list = ['ID', 'fans', 'province', 'city',