JavaWeb——唐诗分析项目

1.项目介绍

1，项目简介：将中国古代唐诗数据从页面中获取，并对数据进行处理分析等，将数据以图表的方式呈现出来，使用户能更直观快速的去了解古代唐诗。

2，项目成果：让用户直观的看到唐朝的各个诗人的作诗量（柱状图）；展示诗人们使用最频繁的词语（词云）。

2.项目整体设计

1，获取数据

1. 访问列表页（唐诗三百首大全）来获取页面中唐诗数据；
2. 编写程序模拟客户端向浏览器构建 Http 请求获取 Html 页面数据；
3. 将获取到的列表页 html 数据，保存在 列表页.html 中。

2，分析数据和整理数据

1. 观察 列表页.xml 中的表单，提取每首唐诗页面的子路径 ，保存至 LinkedList 中；
2. 根据每首诗的 url ，获取每首的详情页（诗词页）页面数据，将页面中诗的作者、标题、朝代、诗词正文等提取出来；
3. 计算 sha256（标题+正文），保证数据不重复；
4. 调用分词的第三方库，对内容进行分词；
5. 将数据保存至数据库中。

3，提取数据库中的信息选择合适的图形界面来展示。

1. 唐朝的各个诗人的作诗量（柱状图）；
2. 诗人们使用最频繁的词语（词云）。

3.项目技术

1，多线程

2，JDBC（数据库操作）

1. 唐诗数据保存至数据库 。
2. 页面展示时提取数据库信息。

3，数据结构

1. List
2. Map

4，HtmlUnit（数据爬取）

1. 网页请求。
2. 网页解析。

5，ansj_seg（分词）

1. 对诗词内容按照一定的规则进行分词。
2. 为可视化见面的词云做准备工作。

6，maven（项目管理工具）

1. 依赖管理。
2. 在项目开发的过程中，使用很多第三方依赖包，它可以极大提高开发效率。

7，JQuery（前后端交互）

1. 进行异步来提交更新数据。

8，redis（缓存提高访问效率）

1. 在词云展示模块中，使用到 redis 进行处理。
2. 当用户不查询或者不点击对应诗人的数据时，我们不存储。当用户第一次点击后，先去数据库中查询，之后存在redis中，当下一次访问时就可以高效的访问了。

9，echarts（前端渲染）

1. 柱状图：诗人的作诗量
2. 词云： 诗人们使用最频繁的词语

4.数据库表设计

CREATE TABLE IF NOT EXISTS tangshi (id INT(11) PRIMARY KEY AUTO_INCREMENT COMMENT "自增主键",sha256 CHAR(64) NOT NULL UNIQUE COMMENT "sha256标题",url VARCHAR(1024) NOT NULL COMMENT "诗词url",dynasty VARCHAR(32) NOT NULL COMMENT "诗词朝代",author VARCHAR(32) NOT NULL COMMENT "诗词作者",title VARCHAR(200) NOT NULL COMMENT "诗词标题",content TEXT NOT NULL COMMENT "诗词正文",words TEXT NOT NULL COMMENT "分词" ,created_ at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT "记录入库时间"
)

为什么要引入SHA-256？

使用sha256标题，为每首诗生成一个唯一标识符，可以(标题 +作者+正文)保证不会重复插入。

链接：了解什么是 SHA-256

4.核心模块一：诗词爬取模块

诗词爬取模块：页面爬取，文档解析，分词。

链接：唐诗分析项目——诗词爬取模块

5.核心模块二：数据可视化模块

链接：唐诗分析项目——数据可视化模块

6.效果展示

7.项目源码

github链接：