基于数据挖掘的校园一卡通用户行为分析_kaic

摘要：本文对Python在校园大数据中的应用进行研究，基于Python技术的特点及校园大数据应用需求，深入分析Python在校园大数据之中数据处理上的相关应用，包括数据搜索、数据清洗、数据分析、数据汇总与反馈等，进而以一卡通为例，深入分析Python在一卡通分析中的作用，最终通过图文的形式展示学生消费行为、消费特点等信息，为高校引导学生消费提供依据和支撑。
关键词：Python语言；大学校园；大数据
Abstract: This paper studies the application of Python in campus big data. Based on the characteristics of Python technology and the application requirements of campus big data, this paper deeply analyzes the application of Python in data processing of campus big data, including data search, data cleaning, data analysis, data aggregation and feedback, and then takes one card as an example to deeply analyze the role of Python in one card analysis, Finally, the information of students' consumption behavior and consumption characteristics is displayed in the form of pictures and texts, which provides basis and support for colleges and universities to guide students' consumption.
Key words: Python language; University Campus; big data
目录
1.概述
1.1研究目的
1.2研究意义
1.3国内外研究现状
1.4研究内容与研究方法
1.4.1研究内容
1.4.2研究方法
2.数据库优化需求分析
2.1数据搜集
2.2数据清洗
2.3数据分析
2.4数据汇总与反馈
3.校园一卡通优化设计与实现
3.1消费总额分析
3.2消费行为分析
3.2.1数据来源及处理
3.2.2算法的选择与实现
3.2.3聚类结果分析
4.结束语
参考文献
致谢
1.概述
伴随着信息科学技术的发展，以及社会各机构对信息技术的需求驱动，信息化的建设越来越得到加强，从而海量的信息化数据也随之产生。如何将这些海量的数据利用好，是当下社会各研究机构和企业面临的一个问题。当今的社会已经进入到了大数据的时代，我们的生活离它也越来越近，成为各行各业的重要资源。它的特点主要是具备易变、高速、海量、和多样，并且它的数据种类繁多，数据更新快速，时效性极高，价值密度相对也比较低。因此，不仅限于社会各界，各种企业或是研究机构，各高校对大数据的应用和需求也随之产生，各种关联性的数据日益膨胀，因此，对python工具的熟练应用势必成为大数据时代的必然要求。Python丰富的工具包让我们在处理数据科学计算使用起来非常方便，在大数据和人工智能的应用场景上能够发挥极大的作用。
大数据有海量数据的特点，不仅仅是“大”，并且复杂。过去我们用的更多的是常规的数据处理工具和方法，就仅限于对单一的数据进行处理，现在我们可以使用更多的数据拿来计算，得出一个最优解和方案。着不仅仅得益于硬件的性能越来越高，而且得益于一些开发框架的可兼容性。比如，过去我们用的更多的是Excel来去做一些图表，这样可以让我们更快速的得到可视化的结果，并分析得到各数值代表的抽象的意义。这种将数据可视化的直观方式展示给用户的技术，现在得到了跨越式的发展，如今可视化的工具越来越丰富，并且功能也愈加强大。即使有时候用传统的一些处理工具和方法也能够得到显著的效果，但是往往花费了更多的时间成本，效率低是最大的局限，并且面对海量的数据有时候不能够满足要求，从而就显得力不从心了。
1.1研究目的
本文对Python在校园大数据中的应用进行研究，基于Python技术的特点及校园大数据应用需求，深入分析Python在校园大数据之中数据处理上的相关应用，包括数据搜索、数据清洗、数据分析、数据汇总与反馈等，进而以一卡通为例，深入分析Python在一卡通分析中的作用，最终通过图文的形式展示学生消费行为、消费特点等信息，为高校引导学生消费提供依据和支撑。
1.2研究意义
本文基于Python 特点，随着高校对大数据的应用和需求与日俱增，于是对python在高校大数据中的应用进行深入研究，重点结合校园一卡通的应用案例进行分析，能够得到图示化的学生消费水平、消费习惯等，进而为更好的搜集学生校园一卡通消费信息，引导学生消费行为具有重要意义。
1.3国内外研究现状
国外对Python 校园大数据的应用研究较早，且已经形成较为明确的研究结果。 A. Rungsawang（2004）分析了美国佛罗里达大学中Python在大数据中的应用，其借助Python对该大学的教学模式和特点进行了系统化的分析，并最终形成了以图片为结果的表征，其得出改学校教师教学过程中，更倾向于运用自媒体技术进行教学，而学生对自媒体教学的响应效果较好。
而我国对Python在校园大数据中的研究也随之开展起来，于2020年朱正国对Python在校园大数据中的应用进行了研究，其主要对校园大数据应用范围进行的分析，包括校园一卡通中的应用、校园教学行为应用、学生成绩分类的应用等，其最终得出的结论为：在校园大数据中运用Python技术，能够实现更好的分析结果，便于学校基于分析结果进行整体调整。姚蓓（2019）对数据挖掘技术在高校智慧资助中的应用研究，其借助于Python在高校智能资助方面的应用和数据挖掘进行了较为详细的研究，最终得出高校在资助贫困生方面，运用Python技术能够整体分析自主覆盖率情况。苏一航（2020）研究表明，由于大数据时代的到来，对python的应用也越来越广泛，它的优势在各实际应用场景是逐渐凸显出来。Python丰富的工具包在数据科学的处理和运算中展现了极大的便利性和高效性，在各种大数据和人工智能的应用场景上不断的迭代和更新，其应用价值得到的社会各界高度认可。PYPL（编程语言流行指数）显示，根据google上关于编程语言的搜索频率进行统计，从全球的搜索引擎流行度来查看，java依然是处于绝对的优势，python在这五年的时间使用排名得到了极大的提升。杨登（2019）对基于python爬虫网络数据进行了较为详细的分析，借助于selenium对网站进行相关的数据处理，借助于Pandas进行数据库清洗，Matplotlib等进行数据的可视化，实现了对相关招聘网站就业岗位的需求分析。常逢佳（2019）利用python爬虫技术，研究了各大招聘网站的岗位情况、需求情况等信息，其借助requests 库抓取 Ajax 异步请求多页数据源，对各大招聘网站的相关信息进行了全面的数据整理和分析，最终表明python爬虫技术具有较强的适应性，能够较好的实现网络数据的爬取，这对各大高校深入分析当前阶段的就业压力及师生状况提供了有效的方法。
1.4研究内容与研究方法
1.4.1研究内容
本文对Python在校园大数据中的应用进行研究，基于Python技术的特点及校园大数据应用需求，深入分析Python在校园大数据之中数据处理上的相关应用，包括数据搜索、数据清洗、数据分析、数据汇总与反馈等，进而以一卡通为例，深入分析Python在一卡通分析中的作用，最终通过图文的形式展示学生消费行为、消费特点等信息，为高校引导学生消费提供依据和支撑。
1.4.2研究方法
（1）文献研究法：根据研究课题，通过查阅知网和国内外各种期刊进行检索获得资料，从而获取得到全面、精准科学的关于本课题的研究方法和手段，通过这个方法能够了解到关于该课题的有关问题的历史研究和现状，有助于当下本课题的研究，得到全面科学有效的研究开展。
（2）模型研究法：根据课题去采集相关的数据，划分训练集和训练集，由训练集来提取特征来建立模型，通过模型的研究进行预测和分类，得出正确的分类结果。
2.数据库优化需求分析
2.1数据搜集
学校正常运行过程中，会产生众多的数据资源，如视频、音频、文字、记录等，其具有较强的非结构化数据的特点，当然也有关系型数据库。所谓基于Python的数据搜集就是对高校中每天形成的这些数量巨大的、零散的数据进行搜集，便于后续数据清洗，使数据达到能够分析的质量水平。此外，数据搜集过程中需要对不断更新的数据进行数据模式的更新，进而能够确定数据关系，保证存储的统一，便于后续数据的深入分析。
本论文研究过程中，选用Python8版本，Eclipse作为开发工具，针对高校数据抓取的渠道包括：网页信息抓取，如官网、教务处网站、学生和教师系统等，智能教室、校园一卡通、实验操作系统、实验管理系统等。