Java_ElasticSearch(ES)——分布式搜索引擎

2024-09-01 04:12

本文主要是介绍Java_ElasticSearch(ES)——分布式搜索引擎,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

介绍:

        Elasticsearch是一个开源的分布式搜索和分析引擎,最初由Elastic公司开发。它构建在Apache Lucene搜索引擎库之上,提供了一个强大的全文搜索和分析引擎, 它结合kibana、Logstash、Beats,是一整套技术栈,被叫做ELK,适用于各种用例,包括文本搜索、日志分析、实时数据分析、监控和报警等。

官网:

        官网地址:Elastic — The Search AI Company | Elastic,目前最新的版本是8.x.x,国内大多使用6.x.x和7.x.x。

优势:

        elasticsearch具备以下优势:

                ·支持分布式。可水平拓展

                ·提供Restful接口,可被任何语言调用

        es在处理海量数据搜索时,速度非常的快,是因为它底层采用倒排索引。

★倒排索引:

首先介绍一下正向索引

倒排索引

总结:

IK分词器:

        上述配置文件即表示添加扩展词典ext.dic,它就会在当前配置文件所在的目录中找这个文件。

总结:

基础概念:

与MySQL对比:

索引库操作

Mapping映射属性:

索引库操作:

总结:

文档处理:

CRUD:

新增:

查找、删除:

修改:

全量修改:

        这种方式在文档id不存在时,就会相当于一个新增操作。

增量修改:

批量处理:

JavaRestClient:

客户端初始化:

商品表Mapping映射:

        以商品表举例:

        在kibana中写出即为:

PUT /items
{"mappings": {"properties": {"id": {"type":"keyword"},"name":{"type": "text","analyzer": "ik_smart"},"price":{"type": "integer"},"image":{"type": "keyword", "index": false},"category":{"type": "keyword"},"brand":{"type": "keyword"},"sold":{"type": "integer"},"comment_count":{"type": "integer", "index": false},"isAD":{"type": "boolean"},"update_time":{"type": "date"}
}

索引库操作:

        创建索引库的JavaAPI与Restful接口API对比:

操作步骤:

代码演示:

class ItemTest {private RestHighLevelClient client;@BeforeEachvoid setUp() {// 初始化 RestHighLevelClient 对象client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.178.130:9200")));}@AfterEachvoid tearDown() throws IOException {client.close();}@Testvoid testCreateIndex() throws IOException {//1.准备Request对象CreateIndexRequest request = new CreateIndexRequest("items");//2.准备请求参数request.source(MAPPING_TEMPLATE, XContentType.JSON);//3.发送请求client.indices().create(request, RequestOptions.DEFAULT);}@Testvoid testGetIndex() throws IOException {//1.准备Request对象GetIndexRequest request = new GetIndexRequest("items");//2.发送请求boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);System.out.println("exists: " + exists);}@Testvoid testDeleteIndex() throws IOException {//1.准备Request对象DeleteIndexRequest request = new DeleteIndexRequest("items");//2.发送请求client.indices().delete(request, RequestOptions.DEFAULT);}private static final String MAPPING_TEMPLATE = "{\n" +"  \"mappings\": {\n" +"    \"properties\": {\n" +"      \"id\": {\n" +"        \"type\":\"keyword\"\n" +"      },\n" +"      \"name\":{\n" +"        \"type\": \"text\",\n" +"        \"analyzer\": \"ik_smart\"\n" +"      },\n" +"      \"price\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"image\":{\n" +"        \"type\": \"keyword\", \n" +"        \"index\": false\n" +"      },\n" +"      \"category\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"brand\":{\n" +"        \"type\": \"keyword\"\n" +"      },\n" +"      \"sold\":{\n" +"        \"type\": \"integer\"\n" +"      },\n" +"      \"comment_count\":{\n" +"        \"type\": \"integer\", \n" +"        \"index\": false\n" +"      },\n" +"      \"isAD\":{\n" +"        \"type\": \"boolean\"\n" +"      },\n" +"      \"update_time\":{\n" +"        \"type\": \"date\"\n" +"      }\n" +"}\n" +"}\n" +"}";}

文档操作:

新增文档:

运行代码:
@SpringBootTest(properties = "spring.profiles.active=local")
class ESDocTest {private RestHighLevelClient client;@Autowiredprivate IItemService itemService;@BeforeEachvoid setUp() {// 初始化 RestHighLevelClient 对象client = new RestHighLevelClient(RestClient.builder(HttpHost.create("http://192.168.178.130:9200")));}@AfterEachvoid tearDown() throws IOException {client.close();}@Testvoid testIndexDoc() throws IOException {//获取数据Item item = itemService.getById(317578L);ItemDoc itemDoc = BeanUtil.copyProperties(item, ItemDoc.class);//创建request对象IndexRequest request = new IndexRequest("item").id(itemDoc.getId());//准备JSON文档request.source(JSONUtil.toJsonStr(itemDoc), XContentType.JSON);//发送请求client.index(request, RequestOptions.DEFAULT);}}

删除文档:

查询文档:

修改文档:

全量更新:可以使用新增文档的代码,在得到ItemDoc后修改它的属性值在新增即可。

局部更新:

文档操作基本步骤:

批处理:

代码示例:

DSL查询:

快速入门:

        注意:单次查询默认最大数据数为10000,最多返回10条数据

叶子查询:

全文检索:

        FIELD为要搜索的字段,TEXT为要搜索的内容

精确查询:

term查询一般用来搜不分词的字段,比如品牌等。如果搜分词的字段,VALUE只能写分好的词条,比如“脱脂”、“牛奶”等,才能搜到

range查询中gte和lte也可以写成gt和lt这样就是大于和小于。

ids查询:(批量查询id)

总结:

复合查询:

布尔查询:

示例:

        搜索“智能手机”,但品牌必须是华为,价格必须是900~1599

        

排序和分页:

排序:

示例:

        搜索商品,按照销量排序,销量一样则按照价格排序。

        

分页:

示例:

        搜索商品,查询出销量排名前10的商品,销量一样时按照价格升序。

        

深度分页问题:

解决方案:

高亮显示:

                                                                                              (↑标签默认就为em)

搜索完整语法:

JavaRestClient查询:

快速入门:

构建查询条件:

全文检索查询:

精确查询:

布尔查询:

排序和分页:

高亮显示:

聚合:

聚合的分类:

DSL实现聚合:

Java客户端实现聚合:

构造请求参数:

解析结果:

       

这篇关于Java_ElasticSearch(ES)——分布式搜索引擎的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1125908

相关文章

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类,它们之间的依赖,构建起了整个框架。想要理解整个架构,最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文(security context)的信息。当前操作的用户是谁,该用户是否已经被认证,他拥有哪些角色权限…这些都被保

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

Java进阶13讲__第12讲_1/2

多线程、线程池 1.  线程概念 1.1  什么是线程 1.2  线程的好处 2.   创建线程的三种方式 注意事项 2.1  继承Thread类 2.1.1 认识  2.1.2  编码实现  package cn.hdc.oop10.Thread;import org.slf4j.Logger;import org.slf4j.LoggerFactory

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来,一站式有声阅读平台听书系统 🌟 开篇:遇见未来,从“智听”开始 在这个快节奏的时代,你是否渴望在忙碌的间隙,找到一片属于自己的宁静角落?是否梦想着能随时随地,沉浸在知识的海洋,或是故事的奇幻世界里?今天,就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统,它正悄悄改变着我们的阅读方式,让未来触手可及! 📚 第一站:海量资源,应有尽有 走进“智听