挑战杯 python的搜索引擎系统设计与实现

2024-02-16 23:28
文章标签 python 实现 设计 系统 搜索引擎 挑战杯

本文主要是介绍挑战杯 python的搜索引擎系统设计与实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

0 前言

🔥 优质竞赛项目系列，今天要分享的是

🚩 python的搜索引擎系统设计与实现

🥇学长这里给一个题目综合评分(每项满分5分)

  • 难度系数：3分
  • 工作量：5分
  • 创新点：3分

该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

1 课题简介

随着互联网和宽带上网的普及， 搜索引擎在中国异军突起， 并日益渗透到人们的日常生活中， 在互联网普及之前，
人们查阅资料首先想到的是拥有大量书籍的资料的图书馆。 但是今天很多人都会选择一种更方便、 快捷、 全面、 准确的查阅方式–互联网。
而帮助我们在整个互联网上快速地查找到目标信息的就是越来越被重视的搜索引擎。

今天学长来向大家介绍如何使用python写一个搜索引擎，该项目常用于毕业设计

在这里插入图片描述

2 系统设计实现

2.1 总体设计

学长设计的系统采用的是非关系型数据库Elasticsearch，因此对于此数据库的查询等基本操作会加以图例的方式进行辅助阐述。在使用者开始进行査询时，系统不可能把使用者输入的关键词与所有本地数据进行匹配，这种检索方式即便建立索引，查询效率仍然较低，而且非常消耗服务器资源。

因此，Elasticsearch将获取到的数据分为两个阶段进行处理。第一阶段：采用合适的分词器，将获取到的数据按照分词器的标准进行分词，第二阶段：对每个关键词的频率以及出现的位置进行统计。

经过以上两个阶段，最后每个词语具体出现在哪些文章中，出现的位置和频次如何，都将会被保存到Elasticsearch数据库中，此过程即为构建倒排索引，需要花费的计算开销很大，但大大提高了后续检索的效率。其中，搜索引擎的索引过程流程图如图

在这里插入图片描述

2.2 搜索关键流程

如图所示，每一位用户在搜索框中输入关键字后，点击搜索发起搜索请求，系统后台解析内容后，将搜索结果返回到查询结果页，用户可以直接点击查询结果的标题并跳转到详情页，也可以点击下一页查看其他页面的搜索结果，也可以选择重新在输入框中输入新的关键词，再次发起搜索。

跳转至不同结果页流程图：

在这里插入图片描述

浏览具体网页信息流程图：

在这里插入图片描述

搜索功能流程图：
在这里插入图片描述

2.3 推荐算法

用户可在平台上了解到当下互联网领域中的热点内容，点击文章链接后即可进入到对应的详情页面中，浏览选中的信息的目标网页，详细了解其中的内容。丰富了本搜索平台提供信息的实时性，如图

在这里插入图片描述

用户可在搜索引擎首页中浏览到系统推送的可能感兴趣的内容，同时用户可点击推送的标题进入具体网页进行浏览详细内容。流程图如图

在这里插入图片描述

2.4 数据流的实现

学长设计的系统的数据来源主要是从发布互联网专业领域信息的开源社区上爬虫得到。

再经过IK分词器对获取到的标题和摘要进行分词，再由Elasticsearch建立索引并将数据持久化。

用户通过输入关键词，点击检索，后台程序对获得的关键词再进行分词处理，再到数据库中进行查找，将满足条件的网页标题和摘要用超链接的方式在浏览器中显示出来。

在这里插入图片描述

3 实现细节

3.1 系统架构

搜索引擎有基本的五大模块,分别是:

  • 信息采集模块
  • 信息处理模块
  • 建立索引模块
  • 查询和 web 交互模块

学长设计的系统目的是在信息处理分析的基础上,建立一个完整的中文搜索引擎。

所以该系统主要由以下几个详细部分组成:

  • 爬取数据
  • 中文分词
  • 相关度排序
  • 建立web交互。

3.2 爬取大量网页数据

爬取数据，实际上用的就是爬虫。

我们平时在浏览网页的时候，在浏览器里输入一个网址，然后敲击回车，我们就会看到网站的一些页面，那么这个过程实际上就是这个浏览器请求了一些服务器然后获取到了一些服务器的网页资源，然后我们看到了这个网页。

请求呢就是用程序来实现上面的过程，就需要写代码来模拟这个浏览器向服务器发起请求，然后获取这些网页资源。那么一般来说实际上获取的这些网页资源是一串HTML代码，这里面包含HTML标签，还有一

我们写完程序之后呢就让它一直运行着，它就能代替我们浏览器来向服务器发送请求，然后一直不停的循环的运行进行批量的大量的获取数据了，这就是爬虫的一个基本的流程。

一个通用的网络爬虫的框架如图所示：

在这里插入图片描述
这里给出一段爬虫，爬取自己感兴趣的网站和内容，并按照固定格式保存起来：

    
​    # encoding=utf-8
​    # 导入爬虫包
​    from selenium import webdriver
​    # 睡眠时间
​    import time
​    import re
​    import os
​    import requests
​    # 打开编码方式utf-8打开
​     # 睡眠时间 传入int为休息时间，页面加载和网速的原因 需要给网页加载页面元素的时间def s(int):time.sleep(int)​     
​    # html/body/div[1]/table/tbody/tr[2]/td[1]/input
​    # http://dmfy.emindsoft.com.cn/common/toDoubleexamp.do
​     if __name__ == '__main__':#查询的文件位置# fR = open('D:\\test.txt','r',encoding = 'utf-8')# 模拟浏览器，使用谷歌浏览器，将chromedriver.exe复制到谷歌浏览器的文件夹内chromedriver = r"C:\\Users\\zhaofahu\\AppData\\Local\\Google\\Chrome\\Application\\chromedriver.exe"# 设置浏览器os.environ["webdriver.chrome.driver"] = chromedriverbrowser = webdriver.Chrome(chromedriver)# 最大化窗口 用不用都行browser.maximize_window()#  header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}# 要爬取的网页neirongs = []  # 网页内容response = []  # 网页数据travel_urls = []urls = []titles = []writefile = open("docs.txt", 'w', encoding='UTF-8')url = 'http://travel.yunnan.cn/yjgl/index.shtml'# 第一页browser.get(url)response.append(browser.page_source)# 休息时间s(3)# 第二页的网页数据#browser.find_element_by_xpath('// *[ @ id = "downpage"]').click()#s(3)#response.append(browser.page_source)#s(3)# 第三页的网页数据#browser.find_element_by_xpath('// *[ @ id = "downpage"]').click()#s(3)#response.append(browser.page_source)​     
​        # 3.用正则表达式来删选数据
​        reg = r'href="(//travel.yunnan.cn/system.*?)"'
​        # 从数据里爬取data。。。
​        # 。travel_urls 旅游信息网址
​        for i in range(len(response)):
​            travel_urls = re.findall(reg, response[i])
​     # 打印出来放在一个列表里for i in range(len(travel_urls)):url1 = 'http:' + travel_urls[i]urls.append(url1)browser.get(url1)content = browser.find_element_by_xpath('/html/body/div[7]/div[1]/div[3]').text# 获取标题作为文件名b = browser.page_sourcetravel_name = browser.find_element_by_xpath('//*[@id="layer213"]').texttitles.append(travel_name)print(titles)print(urls)for j in range(len(titles)):writefile.write(str(j) + '\t\t' + titles[j] + '\t\t' + str(urls[j])+'\n')s(1)browser.close()##

3.3 中文分词

中文分词使用jieba库即可

jieba 是一个基于Python的中文分词工具对于一长段文字，其分词原理大体可分为三步：

1.首先用正则表达式将中文段落粗略的分成一个个句子。

2.将每个句子构造成有向无环图，之后寻找最佳切分方案。

3.最后对于连续的单字，采用HMM模型将其再次划分。

jieba分词分为“默认模式”（cut_all=False）,“全模式”(cut_all=True)以及搜索引擎模式。对于“默认模式”，又可以选择是否使用
HMM 模型（HMM=True，HMM=False）。

3.4 相关度排序

上面已经根据用户的输入获取到了相关的网址数据。
获取到的数据中rows的形式如下
[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3…),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3…)]
列表的每个元素是一个元组，每个元素的内容是urlid和每个关键词在该文档中的位置。

wordids形式为[wordid1, wordid2, wordid3…]，即每个关键词所对应的单词id

我们将会介绍几种排名算法，所谓排名也就是根据各自的规则为每个链接评分，评分越好。并且最终我们会将几种排名算法综合利用起来，给出最终的排名。既然要综合利用，那么我们就要先实现每种算法。在综合利用时会遇到几个问题。

1、每种排名算法评分机制不同，给出的评分尺度和含义也不尽相同
2、如何综合利用，要考虑每种算法的效果。为效果好的给与较大的权重。

我们先来考虑第一个问题，如何消除每种评分算法所给出的评分尺度和含义不相同的问题。
第2个问题，等研究完所有的算法以后再来考虑。

简单，使用归一化，将每个评分值缩放到0-1上，1代表最高，0代表最低。

对爬去到的数据进行排序， 有好几种排序算法：

第1个排名算法：根据单词位置进行评分的函数

我们可以认为对用户输入的多个关键词，在文档中，这些关键词出现的位置越靠前越好。比如我们往往习惯在文章的前面添加一些摘要性、概括性的描述。

     # 根据单词位置进行评分的函数.# rows是[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3...),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3...)]​        def locationscore(self,rows):
​            locations=dict([(row[0],1000000) for row in rows])
​            for row in rows:
​                loc=sum(row[1:]) #计算每个链接的单词位置总和，越小说明越靠前
​                if loc<locations[row[0]]:  #记录每个链接最小的一种位置组合
​                    locations[row[0]]=loc
​    return self.normalizescores(locations,smallIsBetter=1)####
第2个排名算法：根据单词频度进行评价的函数

我们可以认为对用户输入的多个关键词，在文档中，这些关键词出现的次数越多越好。比如我们在指定主题的文章中会反复提到这个主题。

    # 根据单词频度进行评价的函数# rows是[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3...),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3...)]def frequencyscore(self,rows):counts=dict([(row[0],0) for row in rows])for row in rows: counts[row[0]]+=1   #统计每个链接出现的组合数目。 每个链接只要有一种位置组合就会保存一个元组。所以链接所拥有的组合数，能一定程度上表示单词出现的多少。return self.normalizescores(counts)
第3个排名算法：根据单词距离进行评价的函数

我们可以认为对用户输入的多个关键词，在文档中，这些关键词出现的越紧凑越好。这是因为我们更希望所有单词出现在一句话中，而不是不同的关键词出现在不同段落或语句中。

    
​    # 根据单词距离进行评价的函数。
​        # rows是[(urlid1,wordlocation1_1,wordlocation1_2,wordlocation1_3...),(urlid2,wordlocation2_1,wordlocation2_2,wordlocation2_3...)]
​        def distancescore(self,rows):
​            # 如果仅查询了一个单词，则得分都一样
​            if len(rows[0])<=2: return dict([(row[0],1.0) for row in rows])
​    # 初始化字典，并填入一个很大的值mindistance=dict([(row[0],1000000) for row in rows])for row in rows:dist=sum([abs(row[i]-row[i-1]) for i in range(2,len(row))]) # 计算每种组合中每个单词之间的距离if dist<mindistance[row[0]]:  # 计算每个链接所有组合的距离。并为每个链接记录最小的距离mindistance[row[0]]=distreturn self.normalizescores(mindistance,smallIsBetter=1)

4 实现效果

热门主题推荐实现

在这里插入图片描述

搜索界面的实现

在这里插入图片描述

查询结果页面显示

在这里插入图片描述

查询结果分页显示

在这里插入图片描述

查询结果关键字高亮标记显示

在这里插入图片描述

4 最后

🧿 更多资料, 项目分享：

https://gitee.com/dancheng-senior/postgraduate

这篇关于挑战杯 python的搜索引擎系统设计与实现的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/716001。

相关文章

不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟&nbsp;开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚&nbsp;第一站：海量资源，应有尽有 走进“智听
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2