自制简单的诗歌搜索系统

2023-10-19 08:10

本文主要是介绍自制简单的诗歌搜索系统,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

项目简介

  本文将介绍一个笔者自己的项目:自制简单的诗歌搜索系统。该系统主要的实现功能如下:指定一个关键词,检索出包含这个关键词的诗歌,比如关键词为“白云”,则检索出的诗歌可以为王维的《送别》,内容为“下马饮君酒,问君何所之?君言不得意,归卧南山陲。但去莫复问,白云无尽时。”
  该项目使用的Python模块为:

  • requests
  • BeautifulSoup
  • pymongo
  • tornado

其中,requests模块和BeautifulSoup模块用来制作爬虫,爬取网上的诗歌。pymongo模块用来将爬取的诗歌写入到MongoDB数据库。tornado模块用于网页端展示。
  该项目主要分以下三步实现:

  1. 收集数据:使用爬虫,爬取网上的诗歌作为项目的数据集;
  2. 存入数据库:将爬取到的诗歌写入到MongoDB数据库;
  3. 网页展示:利用tornado框架实现诗歌搜索功能。

该项目的结构如下:

poem_search项目结构

数据收集

  首先,我们利用Python爬虫来爬取诗歌,存为CSV文件poem.csv。爬取的网址为:https://www.gushiwen.org 。由于仅是展示该项目的思路,因此,只爬取了该页面中的唐诗三百首、古诗三百、宋词三百、宋词精选,一共大约1100多首诗歌。
  实现该爬虫的代码文件为poem_scrape.py,代码如下:

# -*- coding: utf-8 -*-import re
import requests
from bs4 import BeautifulSoup
import pandas as pd# 爬取的诗歌网址
urls = ['https://www.gushiwen.org/gushi/tangshi.aspx','https://www.gushiwen.org/gushi/sanbai.aspx','https://www.gushiwen.org/gushi/songsan.aspx','https://www.gushiwen.org/gushi/songci.aspx']poem_links = []
# 诗歌的网址
for url in urls:# 请求头部headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}req = requests.get(url, headers=headers)soup = BeautifulSoup(req.text, "lxml")content = soup.find_all('div', class_="sons")[0]links = content.find_all('a')for link in links:poem_links.append(link['href'])# print(poem_links)
# print(len(poem_links))content_list = []
title_list = []
dynasty_list = []
poet_list = []# 爬取诗歌页面
def get_poem(url):#url = 'https://so.gushiwen.org/shiwenv_45c396367f59.aspx'# 请求头部headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'}req = requests.get(url, headers=headers)soup = BeautifulSoup(req.text, "lxml")# 诗歌内容poem = soup.find('div', class_='contson').text.strip()poem = poem.replace(' ', '')poem = re.sub(re.compile(r"\([\s\S]*?\)"), '', poem)poem = re.sub(re.compile(r"([\s\S]*?)"), '', poem)poem = re.sub(re.compile(r"。\([\s\S]*?)"), '', poem)poem = poem.replace('!', '!').replace('?', '?').replace('\n', '')content = poemif content:content_list.append(content)else:content_list.append('')# 诗歌朝代,诗人dynasty_poet = soup.find('p', class_='source').textif ':' in dynasty_poet:dynasty, poet = dynasty_poet.split(':')else:dynasty, poet = '', ''dynasty_list.append(dynasty)poet_list.append(poet)# 诗歌标题title = soup.find('h1').textif title:title_list.append(title)else:title_list.append('')# 爬取诗歌
for url in poem_links:get_poem(url)# 写入至csv文件
df = pd.DataFrame({'title': title_list,'dynasty': dynasty_list,'poet': poet_list,'content': content_list})
print(df.head())df.to_csv('./poem.csv', index=False)

储存的poem.csv的前几行如下:

poem.csv文件

数据库

  数据收集完毕后,我们需要将这些数据出访到数据库中,便于后续的调用,在这里选择MongoDB。利用文件write2mongodb.py文件可以将刚才爬取到的诗歌存放至MongoDB数据库中,完整的代码如下:

import pandas as pd
from pymongo import MongoClient# 连接MongoDB
conn = MongoClient('mongodb://localhost:27017/')
db = conn["test"]# 插入诗歌
df = pd.read_csv('poem.csv')
columns = ['title', 'dynasty', 'poet', 'content']
for i in range(df.shape[0]):print(i)row = df.iloc[i, :]db.poem.insert(dict(zip(columns, row[columns])))

  不到一分钟,我们可以看到MongoDB中的内容如下:

mongodb数据

前端展示

  准备好数据集后,我们需要可视化地展示诗歌检索功能,我们选择tornado这个框架来实现。诗歌检索功能为:指定一个关键词,检索出包含这个关键词的诗歌。关键词由用户输入,提交HTTP请求,在后台实现诗歌检索功能,然后在前端页面展示出来。
  实现的server.py的代码如下:

# -*- coding: utf-8 -*-import random
import os.path
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
from tornado.options import define, options
from pymongo import MongoClient# 连接MongoDB
conn = MongoClient('mongodb://localhost:27017/')
coll = conn["test"].poem#定义端口为8000
define("port", default=8000, help="run on the given port", type=int)# GET请求
class QueryHandler(tornado.web.RequestHandler):# get函数def get(self):self.render('query.html')# POST请求
# POST请求参数:query_string
class ResultHandler(tornado.web.RequestHandler):# post函数def post(self):query = self.get_argument('query_string')res = list(coll.find({'content': {'$regex': query}}))if len(res) > 0:result = random.sample(res, 1)[0]del result["_id"]title = result['title']dynasty = result['dynasty']poet = result['poet']content = result['content']else:title = ''dynasty = ''poet = ''content = ''self.render('result.html', query=query, title=title, dynasty=dynasty, poet=poet, content=content)# 主函数
def main():tornado.options.parse_command_line()# 定义appapp = tornado.web.Application(handlers=[(r'/query', QueryHandler), (r'/result', ResultHandler)], #网页路径控制template_path=os.path.join(os.path.dirname(__file__), "templates") # 模板路径)http_server = tornado.httpserver.HTTPServer(app)http_server.listen(options.port)tornado.ioloop.IOLoop.instance().start()main()

其中,query路径对应的网页query.html的代码如下:

<!DOCTYPE html>
<html>
<head><meta charset="UTF-8"><title>Poem Query</title>
</head>
<body>
<h2>请输入查询</h2>
<form method="post" action="/result">
<p>包含文字: <input type="text" name="query_string"></p>
<input type="submit">
</form>
</body>
</html>

result路径对应的网页result.html如下:

<!DOCTYPE html>
<html>
<head><meta charset="UTF-8"><title>Result</title><script>//highlight query word in the pagefunction Func(){var query = document.getElementById("query").innerHTML;query = query.split(':')[1];if(query == ''){alert('查询词为空!')}else{document.getElementById("result").innerHTML = document.getElementById("result").innerHTML.replace(new RegExp(query,'g'),'<mark>'+query+'</mark>');}}</script>
</head>
<body>
<font color="red"><p id="query">查询词:{{query}}</p></font>
<p>标题:{{title}}</p>
<p>朝代:{{dynasty}}</p>
<p>诗人:{{poet}}</p>
<p id="result">内容:{{content}}</p>
<a href="/query"><button type="button">返回</button></a>
<button type="button" onclick="Func()">查询词高亮</button>
</body>

使用示例

  运行server.py, 在浏览器中输入网址:http://localhost:8000/query ,界面如下:

诗歌搜索界面

在其中输入搜索关键词,比如“白云”,则会显示一条随机的结果,如下:

诗歌搜索结果

点击“查询词高亮”,则查询词部分会高亮显示。

总结

  本项目仅为展示诗歌检索的一种实现思路,仍有许多功能还待完善,后续将进一步补充实现。本项目的github地址为:https://github.com/percent4/P... 。

注意:本人现已开通微信公众号: Python爬虫与算法(微信号为:easy_web_scrape), 欢迎大家关注哦~~

这篇关于自制简单的诗歌搜索系统的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/238505

相关文章

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务,目标是自动识别图像中的对象类别。通过卷积神经网络(CNN)等深度学习技术,我们可以构建高效的图像分类系统,广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统,包括环境

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

hdu1240、hdu1253(三维搜索题)

1、从后往前输入,(x,y,z); 2、从下往上输入,(y , z, x); 3、从左往右输入,(z,x,y); hdu1240代码如下: #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#inc

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

hdu2289(简单二分)

虽说是简单二分,但是我还是wa死了  题意:已知圆台的体积,求高度 首先要知道圆台体积怎么求:设上下底的半径分别为r1,r2,高为h,V = PI*(r1*r1+r1*r2+r2*r2)*h/3 然后以h进行二分 代码如下: #include<iostream>#include<algorithm>#include<cstring>#include<stack>#includ

嵌入式QT开发:构建高效智能的嵌入式系统

摘要: 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发,详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程,包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发,涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用,以及嵌入式 QT 与硬件设备的交互,包括输入输出设

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟&nbsp;开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚&nbsp;第一站:海量资源,应有尽有 走进“智听

usaco 1.3 Prime Cryptarithm(简单哈希表暴搜剪枝)

思路: 1. 用一个 hash[ ] 数组存放输入的数字,令 hash[ tmp ]=1 。 2. 一个自定义函数 check( ) ,检查各位是否为输入的数字。 3. 暴搜。第一行数从 100到999,第二行数从 10到99。 4. 剪枝。 代码: /*ID: who jayLANG: C++TASK: crypt1*/#include<stdio.h>bool h