开发基于 Nutch 的集群式搜索引擎

2024-01-31 05:38
文章标签 集群 开发 nutch 搜索引擎

本文主要是介绍开发基于 Nutch 的集群式搜索引擎，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介

Nutch 是一个基于 Java 实现的开源搜索引擎，其内部使用了高性能全文索引引擎工具 Lucene。从 nutch0.8.0开始，Nutch 完全构建在 Hadoop 分布式计算平台之上。Hadoop 除了是一个分布式文件系统外，还实现了 Google 的 GFS 和 MapReduce 算法。因此基于 Hadoop 的 Nutch 搜索引擎可以部署在由成千上万计算机组成的大型集群上。由于商业搜索引擎允许竞价排名，这样导致索引结果并不完全是和站点内容相关的，而 Nutch 搜索结果能够给出一个公平的排序结果，这使得 Nutch 在垂直搜索、档案互联网搜索等领域得到了广泛应用。

回页首

前提条件

  • Rational Application Developer v6.0
  • Websphere Application Server v6.0
  • Nutch 0.8.1
  • SSH Service Package
  • 主节点RHAS3.0
  • 从节点Debian GNU/Linux 3.1

回页首

背景知识

Nutch 搜索引擎是一个基于 Java 的开放源代码的搜索引擎。Nutch 搜索引擎处理流程包括抓取流程和搜索流程，如图 1 所示。相应地 Nutch 也分为2部分，抓取器和搜索器。 在抓取流程中，抓取器也叫蜘蛛或者机器人，以广度优先搜索（BFS）的方式从企业内部网或者互联网抓取网页。这个过程涉及到对 CrawlDB 和 LinkDB 数据库的操作。然后 Nutch 解析器开始解析诸如 HTML、XML、RSS、PDF等不同格式的文档。最后 Nutch 索引器针对解析结果建立索引并存储到 indexDB 和 SegmentsDB 数据库中，以供搜索器搜索使用。

在搜索流程中，搜索应用使用输入关键词调用 Nutch 搜索接口（Nutch Query Interface）。应用可通过网页上的输入框输入相应关键词。搜索接口解析搜索请求为 Lucene 全文检索引擎可以识别的格式。Nutch 索引器将会调用 Lucene 引擎来响应请求在 indexDB 上展开搜索。最后搜索接口收集从索引器返回的URL、标题、锚和从 SegmentsDB 返回的内容。所有上述内容将被提供给排序算法进行排序。排序完成后，搜索接口将返回命中的搜索结果。 由于构建在 Hadoop 分布式文件系统之上， Nutch 对CrawlDB, LinkDB, SegmentsDB 和 IndexDB 数据库的操作都是通过调用 M/R(map/reduce) 函数完成的。这使得 Nutch 具有了集群扩展能力。


图 1 Nutch搜索引擎架构图hdfs

开发目标网站 targetWebSite

现在将开发一个供 Nutch 爬虫抓取的目标网站应用。这个应用使用 RAD v6.0（Rational Application Developer）作为集成开发工具开发。应用开发完成后，将被部署在 WAS v6.0（Websphere Application Server）服务器上，本样例中服务器的域名设置是 myNutch.com。读者可以按照下面的步骤来开发该目标网站应用。

创建一个动态 Web 项目。打开 RAD，选择 File > New > Project，然后在向导里选择动态 Web 项目，如图 2 所示。

图 2 创建一个动态 Web 项目

2

设计网页。在项目里面，选择 File > New > HTML/XHTML，创建 index.html, one.html，two.html 和 three.html 一共4个文件。 项目的最终结构组成如图 3 所示。 图 3 项目的最终结构组成3

在 WAS v6.0 中运行项目。 打开 RAD， 选择 project > Run > Run on Server, 部署并在服务器上运行。如图 4 所示。

图 4 在服务器上运行

4

点击完成按钮。启动浏览器，在地址栏中输入 http://myNutch.com/targetWebApp。如图 5 所示。

图 5 在浏览器中访问

5

定义搜索引擎

在抓取网站之前，需要定义搜索引擎。在本样例中Nutch被配置为集群方式。集群包括主节点（地址9.181.87.172，操作系统 RHAS3.0）和从节点（地址 9.181.87.176，操作系统 Debian）。如前文介绍，Nutch 的集群能力主要利用了 Hadoop 的分布式计算环境。下面介绍如何定义 Nutch 搜索引擎。

  1. 安装 Nutch。首先下载 Nutch 安装包。本示例采用 Nutch0.8.1。解压下载到的 Nutch 0.8.1包到主节点某一工作目录下。本文中的工作目录使用 /workspace 。确认主从节点上都已安装 SSH service package和 JDK1.4 或 JDK 1.5
  2. Nutch 设置。在 Nutch 的工作目录下，用文本编辑器打开 conf 目录下的文件 Nutch-site.xml，输入 http.agent.name，http.agent.description，http.agent.url 和 http.agent.email 属性集。注意 http.agent.ur 属性需要填写部署目标网站的域名地址 myNutch.com。清单 1 列出了修改完毕后的 Nutch-site.xml。

    清单 1 Nutch-site.xml 
    <property>
    
<name>http.agent.name</name>
    
<value>Nutch-hadoop</value>
    
<description>HTTP 'User-Agent' request header. MUST NOT be empty -
    
please set this to a single word uniquely related to your organization.
    
</description>
    
</property>
    
<property>
    
<name>http.agent.description</name>
    
<value>bydenver</value>
    
<description>Further description of our bot- this text is used in
    
the User-Agent header.  It appears in parenthesis after the agent name.
    
</description>
    
</property>
    
<property>
    
<name>http.agent.url</name>
    
<value>myNutch.com</value>
    
<description>A URL to advertise in the User-Agent header.  This will
    
appear in parenthesis after the agent name. Custom dictates that this
    
should be a URL of a page explaining the purpose and behavior of this
    
crawler.
    
</description>
    
</property>
    
<property>
    
<name>http.agent.email</name>
    
<value>wangfp@cn.ibm.com</value>
    
<description>An email address to advertise in the HTTP 'From' request
    
header and User-Agent header. A good practice is to mangle this
    
address (e.g. 'info at example dot com') to avoid spamming.
    
</description>
    
</property>
  3. Hadoop 主节点设置。 用文本编辑器打开 conf 目录下的文件 hadoop-site.xml，插入清单 2 所列出的属性集。需要注意的是属性 fs.default.name 和 mapred.job.tracker 设置为主节点的IP地址（在本例中为9.181.87.172）。

    清单 2 hadoop-site.xml文件 
    <property>
    
<name>fs.default.name</name>
    
<value>9.181.87.172:9000</value>
    
<description>
    
The name of the default file system. </description>
    
</property>
    
<property>
    
<name>mapred.job.tracker</name>
    
<value>9.181.87.172:9001</value>
    
<description>
    
The host and port that the MapReduce job tracker runs at.
    
</description>
    
</property>
    
<property> 
    
<name>mapred.map.tasks</name>
    
<value>2</value>
    
<description>
    
define mapred.map tasks to be number of slave hosts
    
</description> 
    
</property>
    
<property> 
    
<name>mapred.reduce.tasks</name>
    
<value>2</value>
    
<description>
    
define mapred.reduce tasks to be number of slave hosts
    
</description> 
    
</property>
    
<property>
    
<name>dfs.name.dir</name>
    
<value>/workspace/filesystem/name</value>
    
</property>
    
<property>
    
<name>dfs.data.dir</name>
    
<value>/workspace/filesystem/data</value>
    
</property>
    
<property>
    
<name>mapred.system.dir</name>
    
<value>/workspace/filesystem/mapreduce/system</value>
    
</property>
    
<property>
    
<name>mapred.local.dir</name>
    
<value>/workspace/filesystem/mapreduce/local</value>
    
</property>
    
<property>
    
<name>dfs.replication</name>
    
<value>2</value>
    
</property>
  4. Hadoop 从节点设置。使用文本编辑器打开 conf 目录下的 slaves 文件，输入从节点的 IP 地址。如清单 3 所示。

    清单 3 slaves 文件 
    9.181.87.176
  5. 抓取器设置。首先在 Nutch 工作目录下创建目录 urls，再新建文件 urllist.txt。编辑 urllist.txt文件，输入 http://myNutch.com/targetWebApp。清单 4 列出了所使用的命令。最后需要编辑 conf 目录下的 crawl-urlfilter.txt 文件，输入 +^http://([a-z0-9]*/.)*myNutch.com/，如清单 5 所示。

    清单 4 创建 urllist 文件 
    cd /workspace/Nutch-0.8.1
    
mkdir urls
    
echo http://myNutch.com/targetWebApp > urls/urllist.txt
    
conf/crawl-urlfilter.txt



    清单 5 编辑crawl-urlfilter.txt 文件 
    +^http://([a-z0-9]*/.)*myNutch.com/

抓取器抓取并分析

在使用 Nutch 抓取之前，首先需要启动 Hadoop 服务。清单 6 列出了启动 Hadoop 服务所采用的命令。随后使用清单 7 中的命令从 myNutch.com 抓取网页并解析，其中参数 “depth 3” 表示从网页根路径算起的链接深度；参数 “topN 10” 表示抓取器在每层需要获取的最大页面数目。开始抓取后，抓取器将在当前目录下创建新目录 crawl 作为工作目录。


清单 6 启动 Hadoop 服务 

bin/hadoop dfs -put urls urls



bin/hadoop dfs namenode –format



清单 7 抓取命令 

bin/Nutch crawl urls -dir ./crawl -depth 3 -topN 10

 

对目标网站 targetWebApp 完成抓取后， 在 crawl 工作目录下产生了五个子目录： crawldb，linkdb，segments，indexes 和 index (见图 6)。 数据库 crawldb 中包含页面的数目等；linkdb 包含页面在数据库中的链接，这是抓取器真正抓取网站时由页面的链接数目决定；Segments 数据库按照时间戳分为三个片断，每个片断的产生都经历了 generate/fetch/update 三个过程；Indexes 数据库包含了在 generate/fetch/update 过程中产生的 Lucene 索引；Index 数据库包含了经合并处理后的 Lucene 索引。

图 6 抓取器抓取结果

6

读者也可以使用工具 Luke 去查看 Lucene 索引。 借助 Luke，可以查看索引内容以及对索引查询。图 7 列出了 index 目录下的合并后的索引。


图 7 使用 Luke 查看 Lucene 索引

7

开发搜索应用

完成抓取后，现在将开发一个基于 Nutch 搜索 API 的应用 NutchApp，提供给用户作为搜索的接口。NutchApp 使用 Java 语言编写，其实现首先创建 NutchConfiguration 对象，然后创建 NutchBean。这个 NutchBean 实例将用来处理用户的搜索请求；根据请求参数，创建 query 对象，NutchBean 通过调用 search 方法来处理此 query 对象的请求。最终搜索结果以 Hits 集合。NutchApp 遍历此 Hits 集合并打印结果到标准输出。清单 8 列出了 NutchApp 的示例代码。


清单 8 NutchApp的示例代码 

package org.myNutch;

import java.io.IOException;

import java.io.*;

import java.util.*;

import org.apache.hadoop.conf.Configuration;

import org.apache.Nutch.searcher.*;

import org.apache.Nutch.util.*;

public class NutchApp {

/** For debugging. */

public static void main(String[] args) throws Exception {

String usage = "NutchBean query";

if (args.length == 0) {

System.err.println(usage);

System.exit(-1);

}    

Configuration conf = NutchConfiguration.create();

NutchBean bean = new NutchBean(conf);

Query query = Query.parse(args[0], conf);

Hits hits = bean.search(query, 10);

System.out.println("Total hits: " + hits.getTotal());

int length = (int)Math.min(hits.getTotal(), 10);

Hit[] show = hits.getHits(0, length);

HitDetails[] details = bean.getDetails(show);

Summary[] summaries = bean.getSummary(details, query);

for ( int i = 0; i <hits.getLength();i++){

System.out.println(" "+i+" "+ details[i] + "/n" + summaries[i]);

}

}

}

 

接下来我们来运行 NutchApp。首先编译 NutchApp.java 并打包。打包后的文件名为 NutchApp.jar。随后在 Nutch 命令下执行。见清单 9。


清单 9 编译、打包和执行 NutchApp 

Javac -cp "Nutch-0.8.1.jar;hadoop-0.4.0-patched.jar" src/org/myNutch/NutchApp.java -d lib

cd lib

jar cvf NutchApp.jar org/myNutch/NutchApp.class

cd ../

bin/Nutch org.myNutch.NutchApp Nutch

 

下面我们可以验证我们开发的 Nutch 搜索引擎的使用效果。在搜索页面搜索关键字输入“Nutch”，NutchApp 返回的搜索结果如清单 10 所示。其中包括概要和详细内容。


清单 10 NutchApp输出 

Total hits: 3

0 20061104142342/http://myNutch.com/targetWebApp/two.html

... 8 release of Nutch is now available. This is ... first release of Nutch

1 20061104142342/http://myNutch.com/targetWebApp/one.html

... 1 release of Nutch is now available. This is ...

2 20061104142342/http://myNutch.com/targetWebApp/three.html

... 2 release of Nutch is now available. This is ...

 

小结

通过本文的介绍，现在你已经知道如何使用 Nutch 开发集群式的搜索引擎，并使用此搜索引擎对目标网站进行抓取和分析结果，以及如何提供搜索接口来响应用户的搜索请求。事实上，搭建基于 Nutch 的搜索引擎是一个具有很大挑战性的工作，因为 Nutch 本身还在不断的发展之中，另外目标网站的结构复杂度也不尽相同。所以，针对互联网站点文档格式日益复杂的需求，接下来你还需要花一些精力关注 Nutch 高级特性的进展。

 

参考资料

学习

  • 在 Nutch 官方网站 有关 Nutch 的在线文档
  • 在 Lucene 官方网站 有关 Lucene 的在线文档
  • 在 Hadoop 官方网站 有关 Hadoop 的在线文档

获得产品和技术

  • 下载IBM JDK
  • 下载RAD 试用版
  • 下载Websphere 试用版

这篇关于开发基于 Nutch 的集群式搜索引擎的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/662729。

相关文章

Eclipse+ADT与Android Studio开发的区别

Eclipse+ADT与Android Studio开发的区别

下文的EA指Eclipse+ADT,AS就是指Android Studio。 就编写界面布局来说AS可以边开发边预览（所见即所得,以及多个屏幕预览），这个优势比较大。AS运行时占的内存比EA的要小。AS创建项目时要创建gradle项目框架，so,创建项目时AS比较慢。android studio基于gradle构建项目，你无法同时集中管理和维护多个项目的源码，而eclipse ADT可以同时打开
阅读更多...
Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

Python应用开发——30天学习Streamlit Python包进行APP的构建（9）

st.area_chart 显示区域图。 这是围绕 st.altair_chart 的语法糖。主要区别在于该命令使用数据自身的列和指数来计算图表的 Altair 规格。因此，在许多 "只需绘制此图 "的情况下，该命令更易于使用，但可定制性较差。 如果 st.area_chart 无法正确猜测数据规格，请尝试使用 st.altair_chart 指定所需的图表。 Function signa
阅读更多...
探索Elastic Search：强大的开源搜索引擎，详解及使用

探索Elastic Search：强大的开源搜索引擎，详解及使用

🎬 鸽芷咕：个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想，就是为了理想的生活! 引入 全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选，相信大家多多少少的都听说过它。它可以快速地储存、搜索和分析海量数据。就连维基百科、Stack Overflow、
阅读更多...
WDF驱动开发-WDF总线枚举(一)

WDF驱动开发-WDF总线枚举(一)

支持在总线驱动程序中进行 PnP 和电源管理 某些设备永久插入系统，而其他设备可以在系统运行时插入和拔出电源。 总线驱动 必须识别并报告连接到其总线的设备，并且他们必须发现并报告系统中设备的到达和离开情况。 总线驱动程序标识和报告的设备称为总线的 子设备。 标识和报告子设备的过程称为 总线枚举。 在总线枚举期间，总线驱动程序会为其子 设备创建设备对象 。  总线驱动程序本质上是同时处理总线枚
阅读更多...
JavaWeb系列六: 动态WEB开发核心(Servlet) 上

JavaWeb系列六: 动态WEB开发核心(Servlet) 上

韩老师学生 官网文档为什么会出现Servlet什么是ServletServlet在JavaWeb项目位置Servlet基本使用Servlet开发方式说明快速入门- 手动开发 servlet浏览器请求Servlet UML分析Servlet生命周期GET和POST请求分发处理通过继承HttpServlet开发ServletIDEA配置ServletServlet注意事项和细节 Servlet注
阅读更多...
手把手教你入门vue+springboot开发（五）--docker部署

手把手教你入门vue+springboot开发（五）--docker部署

文章目录 前言一、前端打包二、后端打包三、docker运行总结 前言 前面我们重点介绍了vue+springboot前后端分离开发的过程，本篇我们结合docker容器来研究一下打包部署过程。 一、前端打包 在VSCode的命令行中输入npm run build可以打包前端代码，出现下图提示表示打包完成。 打包成功后会在前端工程目录生成dist目录，如下图所示： 把
阅读更多...
Sapphire开发日志 (十) 关于页面

Sapphire开发日志 (十) 关于页面

关于页面 任务介绍 关于页面用户对我组工作量的展示。 实现效果 代码解释 首先封装一个子组件用于展示用户头像和名称。 const UserGrid = ({src,name,size,link,}: {src: any;name: any;size?: any;link?: any;}) => (<Box sx={{ display: "flex", flexDirecti
阅读更多...
ROS2从入门到精通4-4：局部控制插件开发案例(以PID算法为例)

ROS2从入门到精通4-4：局部控制插件开发案例(以PID算法为例)

目录 0 专栏介绍1 控制插件编写模板1.1 构造控制插件类1.2 注册并导出插件1.3 编译与使用插件 2 基于PID的路径跟踪原理3 控制插件开发案例(PID算法)常见问题 0 专栏介绍 本专栏旨在通过对ROS2的系统学习，掌握ROS2底层基本分布式原理，并具有机器人建模和应用ROS2进行实际项目的开发和调试的工程能力。 🚀详情：《ROS2从入门到精通》 1 控制插
阅读更多...
JavaWeb 学习笔记 spring+jdbc整合开发初步

JavaWeb 学习笔记 spring+jdbc整合开发初步

JdbcTemplate类是Spring的核心类之一，可以在org.springframework.jdbc.core中找到它。JdbcTemplate类在内部已经处理数据库的建立和释放，可以避免一些常见的错误。JdbcTemplate类可直接通过数据源的应用实例化，然后在服务中使用，也可在xml配置中作为JavaBean应用给服务使用直接上一个实例步骤1.xml配置 <?xml version
阅读更多...
Android开发的一些不错的学习资料

Android开发的一些不错的学习资料

一个有趣的学习网站：http://hukai.me/android-training-course-in-chinese/index.html 这个是一些基础的教程，看看很好的，赏心悦目。 工具下载网站：http://www.androiddevtools.cn/ 这里的东西很不错，AndroidStudio，UIStyle的压缩工具，开发必备。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2