一篇文章教你学会并使用Elasticsearch-转自狂神

本文主要是介绍一篇文章教你学会并使用Elasticsearch-转自狂神，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

elasticsearch简单使用总结

1、ELK的安装的准备

1.1 ELK的下载地址

• ElasticSearch：https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D
• logstash：https://mirrors.huaweicloud.com/logstash/?C=N&O=D
• 可视化界面elasticsearch-head：https://github.com/mobz/elasticsearch-head
• kibana：https://mirrors.huaweicloud.com/kibana/?C=N&O=D
• ik分词器：https://github.com/medcl/elasticsearch-analysis-ik

jdk必须是1.8及以上的版本

1.2 macos安装jdk跟mvn

mac下配置jdk

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH
export CLASSPATH

安装JDK1.8并配置环境变量

org.elasticsearch.ElasticsearchException: X-Pack is not supported and Machine Learning is not available for [windows-x86]; you can use the other X-Pack features (unsupported) by setting xpack.ml.enabled: false in elasticsearch.yml

在es的yml文件添加

cluster.initial_master_nodes: ["node-1"]  # 这里的node-1为node-name配置的值
xpack.ml.enabled: false
# 发现连接不上，跨域问题（跨端口，跨网站等）修改配置，设置跨域
http.cors.enabled: true
http.cors.allow-origin: "*" 

打开配置文件

vi ~/.bash_profile

maven路径 这边就用的idea下载的

export M2_HOME=/Users/lisen/apache-maven-3.6.3
export PATH=$PATH:$M2_HOME/bin

刷新资源

source ~/.bash_profile 

测试maven是否安装成功

mvn -v

windows的安装很多 这边就不再说了。。。

1.3 elk安装

参考 https://blog.csdn.net/mgdj25/article/details/105740191

这边说下基本要做的

1. kibana的国际化设置 yml中设置成zh-CN

2. es下的yml文件添加

   http.cors.enabled: true
   http.cors.allow-origin: "*" 
   

3. 分词器下载后，修改里面的pom文件修改对应es的版本，放到es的plugins的ik目录下（创建一个），放进去，进到ik目录下通过

   mvn clean
   mvn compile
   mvn package
   

   来下载jar包 以及编译打包后生成target文件下的releases下的带config以及jar包的文件 复制出来 放到ik下 其他的文件删了(重点)

4. 这边特别提醒一下分词的粒度设置，比如一个分词只是将一个词的单体拆分，“李逵哈哈”，可能只是将李逵两个都分开了，并没有分成“李逵”这个词，那就要自己去写字典了

   在ik分词下的config目录下新增一个 “cyx.dic”

   把自己的dic 添加到配置中 IKAnalyzer.cfg.xml中

   增加一个(里面很多用法 都有注释)

   <!-- 用户可以在这扩展自己的用户字典-->  
   <entry key="ext_dict">cyx.dic</entry>
   

2、ES核心概念

集群，节点，索引，类型，文档，分片，映射是什么？

elasticsearch是面向文档，关系型数据库和elasticsearch客观的对比！一切都是json

Relational DB	Elasticsearch
数据库（database）	索引（indices）
表（tables）	types
行（rows）	documents
字段（columns）	fields

物理设计：

elasticsearch在后台把每个索引划分成多个分片。每个分片可以在集群中的不同服务器间迁移

逻辑设计：

一个索引类型中，抱哈an多个文档，当我们索引一篇文档时，可以通过这样的一个顺序找到它：索引-》类型-》文档id，通过这个组合我们就能索引到某个具体的文档。注意：ID不必是整数，实际上它是一个字符串。

文档

文档

就是我们的一条条的记录

之前说elasticsearch是面向文档的,那么就意味着索弓和搜索数据的最小单位是文档, elasticsearch中,文档有几个重要属性:

• 自我包含, - -篇文档同时包含字段和对应的值,也就是同时包含key:value !
• 可以是层次型的，-一个文档中包含自文档,复杂的逻辑实体就是这么来的! {就是一 个json对象! fastjson进行自动转换!}
• 灵活的结构,文档不依赖预先定义的模式,我们知道关系型数据库中,要提前定义字段才能使用,在elasticsearch中,对于字段是非常灵活的,有时候,我们可以忽略该字段,或者动态的添加一个新的字段。

尽管我们可以随意的新增或者忽略某个字段,但是,每个字段的类型非常重要,比如一一个年龄字段类型,可以是字符串也可以是整形。因为elasticsearch会保存字段和类型之间的映射及其他的设置。这种映射具体到每个映射的每种类型,这也是为什么在elasticsearch中,类型有时候也称为映射类型。

类型

类型

类型是文档的逻辑容器,就像关系型数据库一样,表格是行的容器。类型中对于字段的定 义称为映射,比如name映射为字符串类型。我们说文档是无模式的 ,它们不需要拥有映射中所定义的所有字段,比如新增一个字段,那么elasticsearch是怎么做的呢?elasticsearch会自动的将新字段加入映射,但是这个字段的不确定它是什么类型, elasticsearch就开始猜,如果这个值是18 ,那么elasticsearch会认为它是整形。但是elasticsearch也可能猜不对 ，所以最安全的方式就是提前定义好所需要的映射,这点跟关系型数据库殊途同归了,先定义好字段,然后再使用,别整什么幺蛾子。

索引

索引

就是数据库

索引是映射类型的容器, elasticsearch中的索引是一个非常大的文档集合。索|存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上了。我们来研究下分片是如何工作的。

物理设计:节点和分片如何工作

一个集群至少有一 个节点,而一个节点就是一-个elasricsearch进程 ,节点可以有多个索引默认的,如果你创建索引,那么索引将会有个5个分片( primary shard ,又称主分片)构成的,每一个主分片会有-一个副本( replica shard ,又称复制分片）

上图是一个有3个节点的集群,可以看到主分片和对应的复制分片都不会在同-个节点内,这样有利于某个节点挂掉了,数据也不至于丢失。实际上, 一个分片是- -个Lucene索引, -一个包含倒排索引的文件目录,倒排索引的结构使得elasticsearch在不扫描全部文档的情况下,就能告诉你哪些文档包含特定的关键字。不过,等等,倒排索引是什么鬼?

倒排索引

倒排索引

elasticsearch使用的是一种称为倒排索引 |的结构,采用Lucene倒排索作为底层。这种结构适用于快速的全文搜索，一个索引由文
档中所有不重复的列表构成,对于每一个词,都有一个包含它的文档列表。 例如,现在有两个文档，每个文档包含如下内容:

Study every day， good good up to forever  # 文 档1包含的内容
To forever, study every day，good good up  # 文档2包含的内容

为创建倒排索引,我们首先要将每个文档拆分成独立的词(或称为词条或者tokens) ,然后创建一一个包含所有不重 复的词条的排序列表,然后列出每个词条出现在哪个文档:

term	doc_1	doc_2
Study	√	x
To	x	x
every	√	√
forever	√	√
day	√	√
study	x	√
good	√	√
every	√	√
to	√	x
up	√	√

现在，我们试图搜索 to forever，只需要查看包含每个词条的文档

term	doc_1	doc_2
to	√	x
forever	√	√
total	2	1

两个文档都匹配,但是第一个文档比第二个匹配程度更高。如果没有别的条件,现在,这两个包含关键字的文档都将返回。
再来看一个示例,比如我们通过博客标签来搜索博客文章。那么倒排索引列表就是这样的一个结构:

博客文章(原始数据)	博客文章(原始数据)	索引列表(倒排索引)	索引列表(倒排索引)
博客文章ID	标签	标签	博客文章ID
1	python	python	1，2，3
2	python	linux	3，4
3	linux，python
4	linux

如果要搜索含有python标签的文章,那相对于查找所有原始数据而言，查找倒排索引后的数据将会快的多。只需要查看标签这一栏,然后获取相关的文章ID即可。完全过滤掉无关的所有数据,提高效率!

elasticsearch的索引和Lucene的索引对比

在elasticsearch中，索引(库)这个词被频繁使用,这就是术语的使用。在elasticsearch中 ,索引被分为多个分片,每份分片是-个Lucene的索引。所以一个elasticsearch索引是由多 个Lucene索引组成的。别问为什么,谁让elasticsearch使用Lucene作为底层呢!如无特指，说起索引都是指elasticsearch的索引。

接下来的一切操作都在kibana中Dev Tools下的Console里完成。基础操作!

ik分词器

什么是IK分词器 ?

分词:即把一-段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如“我爱狂神”会被分为"我",“爱”,“狂”,“神” ,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。

如果要使用中文,建议使用ik分词器!

IK提供了两个分词算法: ik_ smart和ik_ max_ word ,其中ik_ smart为最少切分, ik_ max_ _word为最细粒度划分!一会我们测试!

什么是IK分词器：

• 把一句话分词
• 如果使用中文：推荐IK分词器
• 两个分词算法：ik_smart（最少切分），ik_max_word（最细粒度划分）

【ik_smart】测试：

GET _analyze
{"analyzer": "ik_smart","text": "我是社会主义接班人"
}//输出
{"tokens" : [{"token" : "我","start_offset" : 0,"end_offset" : 1,"type" : "CN_CHAR","position" : 0},{"token" : "是","start_offset" : 1,"end_offset" : 2,"type" : "CN_CHAR","position" : 1},{"token" : "社会主义","start_offset" : 2,"end_offset" : 6,"type" : "CN_WORD","position" : 2},{"token" : "接班人","start_offset" : 6,"end_offset" : 9,"type" : "CN_WORD","position" : 3}]
}

 【ik_max_word】测试：

GET _analyze
{"analyzer": "ik_max_word","text": "我是社会主义接班人"
}
//输出
{"tokens" : [{"token" : "我","start_offset" : 0,"end_offset" : 1,"type" : "CN_CHAR","position" : 0},{"token" : "是","start_offset" : 1,"end_offset" : 2,"type" : "CN_CHAR","position" : 1},{"token" : "社会主义","start_offset" : 2,"end_offset" : 6,"type" : "CN_WORD","position" : 2},{"token" : "社会","start_offset" : 2,"end_offset" : 4,"type" : "CN_WORD","position" : 3},{"token" : "主义","start_offset" : 4,"end_offset" : 6,"type" : "CN_WORD","position" : 4},{"token" : "接班人","start_offset" : 6,"end_offset" : 9,"type" : "CN_WORD","position" : 5},{"token" : "接班","start_offset" : 6,"end_offset" : 8,"type" : "CN_WORD","position" : 6},{"token" : "人","start_offset" : 8,"end_offset" : 9,"type" : "CN_CHAR","position" : 7}]
}

3、命令模式的使用

3.1 Rest风格说明

一种软件架构风格，而不是标准。更易于实现缓存等机制

method	url地址	描述
PUT	localhost:9200/索引名称/类型名称/文档id	创建文档(指定文档id)
POST	localhost:9200/索引名称/类型名称	创建文档（随机文档id）
POST	localhost:9200/索引名称/类型名称/文档id/_update	修改文档
DELETE	localhost:9200/索引名称/类型名称/文档id	删除文档
GET	localhost:9200/索引名称/类型名称/文档id	通过文档id查询文档
POST	localhost:9200/索引名称/类型名称/_search	查询所有的数据

基础测试

1.创建一个索引

PUT /索引名/类型名(高版本都不写了，都是_doc)/文档id

 {请求体}

完成了自动添加了索引！数据也成功的添加了。 

那么name这个字段用不用指定类型呢 

 指定字段的类型properties 就比如sql创表

获得这个规则！可以通过GET请求获得具体的信息

如果自己不设置文档字段类型，那么es会自动给默认类型 

3.2 cat命令

获取健康值

获取所有的信息

GET _cat/indices?v

还有很多 可以自动展示 都试试

修改索引

1.修改我们可以还是用原来的PUT的命令，根据id来修改

但是如果没有填写的字段 会重置为空了 ，相当于java接口传对象修改，如果只是传id的某些字段，那其他没传的值都为空了。

2.还有一种update方法 这种不设置某些值 数据不会丢失

POST /test3/_doc/1/_update
{"doc":{"name":"212121"}
}//下面两种都是会将不修改的值清空的POST /test3/_doc/1
{"name":"212121"
}POST /test3/_doc/1
{"doc":{"name":"212121"}
}

带doc修改 查询也是带doc的（document）

删除索引

关于删除索引或者文档的操作

通过DELETE命令实现删除，根据你的请求来判断是删除索引还是删除文档记录

使用RESTFUL的风格是我们ES推荐大家使用的！

3.3 关于文档的基本操作

查询

最简单的搜索是GET

搜索功能search

这边name是text 所以做了分词的查询 如果是keyword就不会分词搜索了

复杂操作搜索select（排序，分页，高亮，模糊查询，精准查询）

//测试只能一个字段查询
GET lisen/user/_search
{"query": {"match": {"name": "李森"}}
}

 结果过滤，就是只展示列表中某些字段

包含

不包含

排序

分页

代码

GET lisen/user/_search
{"query": {"match": {"name": "李森"}},"sort":{"age":{"order":"asc"}},"from": 0,"size": 1
}

多条件查询

布尔值查询

must（and），所有的条件都要符合

should（or）或者的 跟数据库一样

must_not（not）

条件区间

• gt大于
• gte大于等于
• lte小于
• lte小于等于

匹配多个条件（数组）

match没用倒排索引 这边改正一下

精确查找

term查询是直接通过倒排索引指定的词条进程精确查找的

关于分词

• term，直接查询精确的
• match，会使用分词器解析！（先分析文档，然后通过分析的文档进行查询）

默认的是被分词了

keyword没有被分词

精确查询多个值

高亮

还能自定义高亮的样式

4、springboot集成

4.1 引入依赖包

创建一个springboot的项目 同时勾选上springboot-web的包以及Nosql的elasticsearch的包

如果没有就手动引入

<!--es客户端-->
<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>7.6.2</version>
</dependency><!--springboot的elasticsearch服务-->
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

注意下spring-boot的parent包内的依赖的es的版本是不是你对应的版本

不是的话就在pom文件下写个properties的版本

<!--这边配置下自己对应的版本-->
<properties><java.version>1.8</java.version><elasticsearch.version>7.6.2</elasticsearch.version>
</properties>

4.2 注入RestHighLevelClient 客户端

@Configuration
public class ElasticSearchClientConfig {@Beanpublic RestHighLevelClient restHighLevelClient(){RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("127.0.0.1",9200,"http")));return client;}
}

4.3 索引的增、删、是否存在

//测试索引的创建
@Test
void testCreateIndex() throws IOException {//1.创建索引的请求CreateIndexRequest request = new CreateIndexRequest("lisen_index");//2客户端执行请求，请求后获得响应CreateIndexResponse response = client.indices().create(request, RequestOptions.DEFAULT);System.out.println(response);
}//测试索引是否存在
@Test
void testExistIndex() throws IOException {//1.创建索引的请求GetIndexRequest request = new GetIndexRequest("lisen_index");//2客户端执行请求，请求后获得响应boolean exist =  client.indices().exists(request, RequestOptions.DEFAULT);System.out.println("测试索引是否存在-----"+exist);
}//删除索引
@Test
void testDeleteIndex() throws IOException {DeleteIndexRequest request = new DeleteIndexRequest("lisen_index");AcknowledgedResponse delete = client.indices().delete(request,RequestOptions.DEFAULT);System.out.println("删除索引--------"+delete.isAcknowledged());
}

4.4 文档的操作

//测试添加文档@Testvoid testAddDocument() throws IOException {User user = new User("lisen",27);IndexRequest request = new IndexRequest("lisen_index");request.id("1");//设置超时时间request.timeout("1s");//将数据放到json字符串request.source(JSON.toJSONString(user), XContentType.JSON);//发送请求IndexResponse response = client.index(request,RequestOptions.DEFAULT);System.out.println("添加文档-------"+response.toString());System.out.println("添加文档-------"+response.status());
//        结果
//        添加文档-------IndexResponse[index=lisen_index,type=_doc,id=1,version=1,result=created,seqNo=0,primaryTerm=1,shards={"total":2,"successful":1,"failed":0}]
//        添加文档-------CREATED}//测试文档是否存在@Testvoid testExistDocument() throws IOException {//测试文档的 没有indexGetRequest request= new GetRequest("lisen_index","1");//没有indices()了boolean exist = client.exists(request, RequestOptions.DEFAULT);System.out.println("测试文档是否存在-----"+exist);}//测试获取文档@Testvoid testGetDocument() throws IOException {GetRequest request= new GetRequest("lisen_index","1");GetResponse response = client.get(request, RequestOptions.DEFAULT);System.out.println("测试获取文档-----"+response.getSourceAsString());System.out.println("测试获取文档-----"+response);//        结果
//        测试获取文档-----{"age":27,"name":"lisen"}
//        测试获取文档-----{"_index":"lisen_index","_type":"_doc","_id":"1","_version":1,"_seq_no":0,"_primary_term":1,"found":true,"_source":{"age":27,"name":"lisen"}}}//测试修改文档@Testvoid testUpdateDocument() throws IOException {User user = new User("李逍遥", 55);//修改是id为1的UpdateRequest request= new UpdateRequest("lisen_index","1");request.timeout("1s");request.doc(JSON.toJSONString(user),XContentType.JSON);UpdateResponse response = client.update(request, RequestOptions.DEFAULT);System.out.println("测试修改文档-----"+response);System.out.println("测试修改文档-----"+response.status());//        结果
//        测试修改文档-----UpdateResponse[index=lisen_index,type=_doc,id=1,version=2,seqNo=1,primaryTerm=1,result=updated,shards=ShardInfo{total=2, successful=1, failures=[]}]
//        测试修改文档-----OK//        被删除的
//        测试获取文档-----null
//        测试获取文档-----{"_index":"lisen_index","_type":"_doc","_id":"1","found":false}}//测试删除文档@Testvoid testDeleteDocument() throws IOException {DeleteRequest request= new DeleteRequest("lisen_index","1");request.timeout("1s");DeleteResponse response = client.delete(request, RequestOptions.DEFAULT);System.out.println("测试删除文档------"+response.status());}//测试批量添加文档@Testvoid testBulkAddDocument() throws IOException {ArrayList<User> userlist=new ArrayList<User>();userlist.add(new User("cyx1",5));userlist.add(new User("cyx2",6));userlist.add(new User("cyx3",40));userlist.add(new User("cyx4",25));userlist.add(new User("cyx5",15));userlist.add(new User("cyx6",35));//批量操作的RequestBulkRequest request = new BulkRequest();request.timeout("1s");//批量处理请求for (int i = 0; i < userlist.size(); i++) {request.add(new IndexRequest("lisen_index").id(""+(i+1)).source(JSON.toJSONString(userlist.get(i)),XContentType.JSON));}BulkResponse response = client.bulk(request, RequestOptions.DEFAULT);//response.hasFailures()是否是失败的System.out.println("测试批量添加文档-----"+response.hasFailures());//        结果:false为成功 true为失败
//        测试批量添加文档-----false}//测试查询文档@Testvoid testSearchDocument() throws IOException {SearchRequest request = new SearchRequest("lisen_index");//构建搜索条件SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();//设置了高亮sourceBuilder.highlighter();//term name为cyx1的TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "cyx1");sourceBuilder.query(termQueryBuilder);sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));request.source(sourceBuilder);SearchResponse response = client.search(request, RequestOptions.DEFAULT);System.out.println("测试查询文档-----"+JSON.toJSONString(response.getHits()));System.out.println("=====================");for (SearchHit documentFields : response.getHits().getHits()) {System.out.println("测试查询文档--遍历参数--"+documentFields.getSourceAsMap());}//        测试查询文档-----{"fragment":true,"hits":[{"fields":{},"fragment":false,"highlightFields":{},"id":"1","matchedQueries":[],"primaryTerm":0,"rawSortValues":[],"score":1.8413742,"seqNo":-2,"sortValues":[],"sourceAsMap":{"name":"cyx1","age":5},"sourceAsString":"{\"age\":5,\"name\":\"cyx1\"}","sourceRef":{"fragment":true},"type":"_doc","version":-1}],"maxScore":1.8413742,"totalHits":{"relation":"EQUAL_TO","value":1}}
//        =====================
//        测试查询文档--遍历参数--{name=cyx1, age=5}}

参考网站：狂神elasticsearch笔记(纯手敲)_lisen01070107的博客-CSDN博客_狂神说elasticsearch笔记

参考视频：【狂神说Java】ElasticSearch7.6.x最新完整教程通俗易懂_哔哩哔哩_bilibili

这篇关于一篇文章教你学会并使用Elasticsearch-转自狂神的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---