【java、lucene、python】互联网搜索引擎课程报告二:建立搜索引擎

2024-06-10 06:36

本文主要是介绍【java、lucene、python】互联网搜索引擎课程报告二:建立搜索引擎,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、项目要求

  1. 建立并实现文本搜索功能
  1. 对经过预处理后的500个英文和中文文档/网页建立搜索并实现搜索功能
  2. 对文档建立索引,然后通过前台界面或者已提供的界面,输入关键字,展示搜索结果
  3. 前台可通过网页形式、应用程序形式、或者利用已有的界面工具显示
  4. 实现英文搜索及中文搜索功能
  1. 比较文档之间的相似度

通过余弦距离计算任意两个文档之间的相似度,列出文档原文,并给出相似

度值。

  1. 对下载的文档,利用K-Means聚类算法进行聚类
  1. 将下载的500个中文/英文文档聚为20个类,并显示聚类之后所形成的三个最大的类,及每个类中代表性的文档(即,离类中心最近的五个文档)
  2. 距离计算公式,可采用余弦距离,也可用欧式距离

二、开发环境

系统:windows 10 

开发语言:JAVA,python

开发工具:IDEA,pycharm

三、项目实现

  使用开源搜索引擎Lucene对经过预处理后的500个英文和中文文档建立索引,并实现搜索功能,然后通过前台界面,输入关键字,展示搜索结果。支持英文搜索及中文搜索功能。

一、搜索引擎

1.建立索引

建立索引时,使用IK Analyzer分词器,每个文档(document)有三个域,content对应文档内容,fileName对应文档名,filePath对应文档路径。

2.搜索

由于用Luke进行搜索时不能使用IK Analyzer分词器,中文只能单字分词,搜索结果不准确。故自行编码实现搜索功能,前台界面利用JAVA的awt库进行设计。因为只实现搜索功能,前台界面设计得比较简单,居中的上方是关键词输入框,下方依次是选择检索中文还是英文文档的单选框和搜索结果文本显示框。输入关键词后,按下回车,就会显示搜索结果,第一行是搜索到的文档数。

二、比较文档之间的相似度

通过余弦距离(Cosine Distance)计算任意两个文档之间的相似度,列出文档原文,并给出相似度值。

计算文本相似度的思路:1、分词;2、列出所有的词;3、计算词频;4、向量化;5、用公式计算相似度(余弦值)。余弦值接近1,夹角趋于0,表明两个向量越相似,余弦值接近于0,夹角趋于90度,表明两个向量越不相似。

前台界面利用JAVA的awt库进行设计。分别输入两个文档的编号,回车后下方的两个文本区域会显示文档的内容。下方的单选框可以选择比较中文还是英文文档。点击下方的calculate the similarity的按钮,按钮上方的文本框会显示相似度值。

三、利用K-Means聚类算法进行聚类

利用K-Means聚类算法进行聚类将下载的500个中文/英文文档聚为20个类,并显示聚类之后所形成的三个最大的类,及每个类中代表性的文档(即,离类中心最近的五个文档)。将文档分别聚类成不同数量的类,如:5、10、25、50等,比较聚类结果的异同与变化。

K-Means聚类算法的前几个步骤与计算文本相似度的思路的相似,即对文本分词、列出所有的词、计算词频、向量化,只是这里处理的文档不再是2个文档,而是500个文档(文档已经预处理过)。

然后给定一个数k,表示聚类的数目,随机选取k个样本作为初始的聚类中心。计算每个文档与k个聚类中心的距离(这里使用的余弦距离,值越接近1表示越接近),将每个文档分配给距离它最近的聚类中心。

接着,计算每个聚类中所有向量每个坐标的平均值,计算出一个“质心”,作为新的聚类中心。

最后,进行迭代,对每个文档重新计算距离并分配到最近的聚类。通过判断每个聚类中心有无变化,决定是否停止迭代。迭代结束时,可以得到k个聚类中心的值,每类中所有文档序号及对应余弦距离。根据这些信息,经过筛选和排序,可以找到形成的三个最大的类,及每个类中代表性的文档。

 上面为部分说明,完整报告请见:

参考

【黑马程序员Lucene全文检索技术,从底层到实战应用Lucene全套教程】 https://www.bilibili.com/video/BV1eJ411q7nw/?p=23&share_source=copy_web&vd_source=9332b8fc5ea8d349a54c3989f6189fd3

文档预处理:

前一个报告:

https://download.csdn.net/download/qq_61814350/89207414?spm=1001.2014.3001.5503

Lucene的api使用、环境搭建(最多看到前24个视频就可以,下载他提供的配套资料,很方便):

【黑马程序员Lucene全文检索技术,从底层到实战应用Lucene全套教程】

https://www.bilibili.com/video/BV1eJ411q7nw/?p=24&share_source=copy_web&vd_source=9332b8fc5ea8d349a54c3989f6189fd3

java界面设计(容器、按钮、输入框、事件监听,最多看到P13):

【【狂神说Java】GUI编程入门到游戏实战】

https://www.bilibili.com/video/BV1DJ411B75F/?share_source=copy_web&vd_source=9332b8fc5ea8d349a54c3989f6189fd3

余弦距离、TF-IDF:

https://blog.csdn.net/m0_37739193/article/details/119335260

https://blog.csdn.net/wxgxgp/article/details/104146034

https://blog.csdn.net/qq_63159704/article/details/132846060

kmeans理论讲解:

【k-means kmeans聚类算法 清晰解释(带算例)】

https://www.bilibili.com/video/BV1V44y1u7mJ/?share_source=copy_web&vd_source=9332b8fc5ea8d349a54c3989f6189fd3

kmeans代码实现:

https://www.cnblogs.com/zuixime0515/p/9604034.html

python、numpy:

哪里不会再查,看菜鸟教程。

java:

去除空格、标点符号

https://blog.csdn.net/chen134225/article/details/103104392

java- File类的常用方法:遍历目录里的文件

https://blog.csdn.net/u014217137/article/details/128044606

这篇关于【java、lucene、python】互联网搜索引擎课程报告二:建立搜索引擎的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1047434

相关文章

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置(JAVA_HOME和Path),并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk(需要登录Oracle账号,没有可以免费注册)下载完

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

《SpringBoot结合WxJava实现文章上传微信公众号草稿箱与群发》本文将详细介绍如何使用SpringBoot框架结合WxJava开发工具包,实现文章上传到微信公众号草稿箱以及群发功能,... 目录一、项目环境准备1.1 开发环境1.2 微信公众号准备二、Spring Boot 项目搭建2.1 创建

Java中Integer128陷阱

《Java中Integer128陷阱》本文主要介绍了Java中Integer与int的区别及装箱拆箱机制,重点指出-128至127范围内的Integer值会复用缓存对象,导致==比较结果为true,下... 目录一、Integer和int的联系1.1 Integer和int的区别1.2 Integer和in

SpringSecurity整合redission序列化问题小结(最新整理)

《SpringSecurity整合redission序列化问题小结(最新整理)》文章详解SpringSecurity整合Redisson时的序列化问题,指出需排除官方Jackson依赖,通过自定义反序... 目录1. 前言2. Redission配置2.1 RedissonProperties2.2 Red

IntelliJ IDEA2025创建SpringBoot项目的实现步骤

《IntelliJIDEA2025创建SpringBoot项目的实现步骤》本文主要介绍了IntelliJIDEA2025创建SpringBoot项目的实现步骤,文中通过示例代码介绍的非常详细,对大家... 目录一、创建 Spring Boot 项目1. 新建项目2. 基础配置3. 选择依赖4. 生成项目5.

JSONArray在Java中的应用操作实例

《JSONArray在Java中的应用操作实例》JSONArray是org.json库用于处理JSON数组的类,可将Java对象(Map/List)转换为JSON格式,提供增删改查等操作,适用于前后端... 目录1. jsONArray定义与功能1.1 JSONArray概念阐释1.1.1 什么是JSONA

Java JDK1.8 安装和环境配置教程详解

《JavaJDK1.8安装和环境配置教程详解》文章简要介绍了JDK1.8的安装流程,包括官网下载对应系统版本、安装时选择非系统盘路径、配置JAVA_HOME、CLASSPATH和Path环境变量,... 目录1.下载JDK2.安装JDK3.配置环境变量4.检验JDK官网下载地址:Java Downloads

Spring boot整合dubbo+zookeeper的详细过程

《Springboot整合dubbo+zookeeper的详细过程》本文讲解SpringBoot整合Dubbo与Zookeeper实现API、Provider、Consumer模式,包含依赖配置、... 目录Spring boot整合dubbo+zookeeper1.创建父工程2.父工程引入依赖3.创建ap

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定