我这里有套课程想和大家分享，需要的朋友可以加我qq和我联系。QQ2059055336.     一、课程内容介绍：      1、整体思路       整个课程，按照一个从无到有的过程来展开。所有的数据，来自于互联网，用heritrix去抓取。对于抓取的数据，进行去重，去标签，然后利用lucene 和 solr 进行索引和搜索。如下图所示：

我这里有个课程和大家分享，我的qq是2059055336。我放到你们邮箱里。 。如下图所示：         整个课程 的最大特点是内容新颖全面而又通俗易懂。对于实际搜索引擎所涉及的各种核心技术都有全面细致的介绍，除了作为搜索系统核心的网络爬虫、索引系统、排序系统、链接分析及用户分析外，还包括网页反作弊、缓存管理、网页去重技术等实际搜索引擎必须关注的技术，同时用相当大的篇幅讲解了云计算与

前面我们知道了如何通过执行Heritrix官方提供的jar包去启动Heritrix,庆幸的是，Heritrix是完全开源的，所以我们可以将Heritrix的源码直接导入Eclipse去运行它。 首先解压heritrix-1.14.4-src.zip到任意盘符，这里我直接解压到桌面，解压后你会看到如图的目录结构： src下毫无疑问是源码文件，lib是Heritrix依赖的jar包。Testdata

启动Heritrix后，访问http://localhost:6789就可以打开Heritrix的登录界面，登录后即进入了Heritrix Web后台的主页： console: Heritrix的控制台，会显示Heritrix的抓取任务和分配给Heritrix的Heap使用情况    Jobs：Heritrix的抓取任务界面，比如创建抓取任务，已挂起的任务，已完成的任务统计

Heritrix是一个基于Java的开源的具有高扩展性高灵活性的Web爬虫开源项目。 Heritrix的几大亮点如下：         1.开源，如果你想了解爬虫相关知识，阅读Heritrix源码是不二之选。         2.抓取性能高，配置灵活         3.扩展性很好，便于进行二次开发 不过Heritrix让我唯一遗憾的是不支持分布式抓取，不过仍然不能否定Heritrix是一款不错