【ElasticSearch】(三)浅析Query DSL 映射sql语法

2024-08-26 20:58

本文主要是介绍【ElasticSearch】(三)浅析Query DSL 映射sql语法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

     ElasticSearch官方给出的DSL解释如下:

elasticsearch provides a full Query DSL based on JSON to define queries. In general, there are basic queries such as term or prefix. There are also compound queries like the bool query. Queries can also have filters associated with them such as the filtered or constant_score queries, with specific filter queries.Think of the Query DSL as an AST of queries. Certain queries can contain other queries (like the bool query), others can contain filters (like the constant_score), and some can contain both a query and a filter (like the filtered). Each of those can contain any query of the list of queries or any filter from the list of filters, resulting in the ability to build quite complex (and interesting) queries.Both queries and filters can be used in different APIs. For example, within a search query, or as a facet filter. This section explains the components (queries and filters) that can form the AST one can use.Filters are very handy since they perform an order of magnitude better than plain queries since no scoring is performed and they are automatically cached.

       reference address: https://www.elastic.co/guide/en/elasticsearch/reference/1.7/query-dsl.html

 

       点击上述超链,官方从filter和queris两个角度展开对elastic search dsl的介绍,经历了项目实战的洗礼之后,我从使用者的角度来谈谈elastic serach的dsl。

 

一、分类        

     如上所述,对查询从6个角度做的分类,使用过程中最为常见的是“全文查询”和“词项查询”两个部分,当然我的前提是把mysql表结构映射到了es,后续会把这个映射的思想分享出来。

 

二、查询详情

//todo sorting……

 

三、dsl(组合查询)与 sql 映射

      常见sql查询语句如下:

SELECT product
FROM   products
WHERE  (price = 20 OR productID = "XHDK-A-1293-#fJ3")AND  (price != 30)

     这里需要通过“bool”表达式来做组合,bool过滤器的基本语法如下:

{"bool" : {"must" :     [],"should" :   [],"must_not" : [],}
}

      最简单的映射关系如下:

must : 所有的语句都 必须(must) 匹配,与 AND 等价。
must_not : 所有的语句都 不能(must not) 匹配,与 NOT 等价。
should : 至少有一个语句要匹配,与 OR 等价。

      当我们需要多个过滤器时,只须将它们置入 bool 过滤器的不同部分即可。

      下边展示上述sql语句对应的es dsl写法:

GET /my_store/products/_search
{"query" : {"filtered" : { "filter" : {"bool" : {"should" : [{ "term" : {"price" : 20}}, { "term" : {"productID" : "XHDK-A-1293-#fJ3"}} ],"must_not" : {"term" : {"price" : 30} }}}}}
}

     针对上述查询需注意:

     1.在bool表达式外层需要一个 filtered 查询将所有的东西包起来。

     2.在 should 语句块里面的两个 term 过滤器与 bool 过滤器是父子关系,两个 term 条件需要匹配其一。

     3.如果一个产品的价格是 30 ,那么它会自动被排除,因为它处于 must_not 语句里面。

 

     另外针对查询条件嵌套较深的情况,比如:

SELECT document
FROM   products
WHERE  productID      = "KDKE-B-9947-#kL5"OR (     productID = "JODL-X-1937-#pV7"AND price     = 30 )

       其中“or”的右侧,则是又深入一层后的筛选,这时,只需在已有的bool表达式内再做一层嵌套。即尽管 bool 是一个复合的过滤器,可以接受多个子过滤器,需要注意的是 bool 过滤器本身仍然还只是一个过滤器。 这意味着我们可以将一个 bool 过滤器置于其他 bool 过滤器内部,这为我们提供了对任意复杂布尔逻辑进行处理的能力。代码如下:

GET /my_store/products/_search
{"query" : {"filtered" : {"filter" : {"bool" : {"should" : [{ "term" : {"productID" : "KDKE-B-9947-#kL5"}}, { "bool" : { "must" : [{ "term" : {"productID" : "JODL-X-1937-#pV7"}}, { "term" : {"price" : 30}} ]}}]}}}}
}

      

四、工作遇到有特色的sql转dsl(ibatis查询为例,均为片段)

0. “is null”写法,比如 la.department_id is null

{"bool": {"must_not": [{"exists": {"field": "t_%$^%$^_apply|department_id"}}]}
}

       其实,最初的 is null 写法是这样:

{"missing": {"field": "t_loan_apply|department_id"}
}

       那时,项目里用的es版本还是2.X,之后升级到了6.3后开始不识别missing了,查了下,竟然被废弃了。

 

1.“!=”写法

"bool": {"must_not": [{"term": {"t_loan_third_party_zh|zh_final_audit_status": 1}}]
}

 

2.“or”写法

{{#deptScope}}
{"bool": {"should": [{"missing": {"field": "t_loan_apply|department_id"}},{"terms": {"t_loan_apply|department_id":[ {{{deptScope}}} ]}}]}
},
{{/deptScope}}

 

3.“in”写法

{{#cityScope}}{"terms":{"t_loan_apply|city_id":[ {{{cityScope}}} ]}},
{{/cityScope}}

 

4.时间区间写法

{{#applyTimeStart}}{"range": {"t_loan_apply|apply_time": {"gte": "{{applyTimeStart}}"}}},
{{/applyTimeStart}}
{{#applyTimeEnd}}{"range": {"t_loan_apply|apply_time": {"lte": "{{applyTimeEnd}}"}}},
{{/applyTimeEnd}}

 

5.“like”写法

{{#customerName}}{"match_phrase": {"t_loan_apply|custom_name": "{{customerName}}"}},
{{/customerName}}

 

6.嵌套查询

<isNotEmpty prepend="AND" property="zhApplyStatus">ltpz.zh_apply_status=#zhApplyStatus#<isEqual compareValue="2" property="zhApplyStatus" >and (ltpz.zh_first_&&&*&_status!=1 OR ltpz.zh_first_&&&*&_status  is null)</isEqual><isEqual compareValue="4" property="zhApplyStatus" >and (ltpz.zh_final_&&&*&_status!=1 OR ltpz.zh_final_&&&*&_status  is null)</isEqual>
</isNotEmpty>

       转化后如下:

{{#zhApplyStatus}}{"term": {"t_loan_#¥%%¥¥%_zh|zh_first_&&&*&_status": "{{zhApplyStatus}}"}},<%#bool zhApplyStatus == 2 %>{"bool": {"should": [{"bool": {"must_not": [{"term": {"t_loan_#¥%%¥¥%_zh|zh_first_&&&*&_status": 1}}]}},{"bool": {"must_not": [{"exists": {"field": "t_loan_#¥%%¥¥%_zh|zh_first_&&&*&_status"}}]}}]}},<%/bool%><%#bool zhApplyStatus == 4 %>{"bool": {"should": [{"bool": {"must_not": [{"term": {"t_loan_#¥%%¥¥%_zh|zh_final_&&&*&_status": 1}}]}},{"bool": {"must_not": [{"exists": {"field": "t_loan_#¥%%¥¥%_zh|zh_final_&&&*&_status"}}]}}]}},<%/bool%>
{{/zhApplyStatus}}

 

    that's all. modify 18.12.01.

这篇关于【ElasticSearch】(三)浅析Query DSL 映射sql语法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1109662

相关文章

MySQL 中的 JSON 查询案例详解

《MySQL中的JSON查询案例详解》:本文主要介绍MySQL的JSON查询的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql 的 jsON 路径格式基本结构路径组件详解特殊语法元素实际示例简单路径复杂路径简写操作符注意MySQL 的 J

Windows 上如果忘记了 MySQL 密码 重置密码的两种方法

《Windows上如果忘记了MySQL密码重置密码的两种方法》:本文主要介绍Windows上如果忘记了MySQL密码重置密码的两种方法,本文通过两种方法结合实例代码给大家介绍的非常详细,感... 目录方法 1:以跳过权限验证模式启动 mysql 并重置密码方法 2:使用 my.ini 文件的临时配置在 Wi

MySQL重复数据处理的七种高效方法

《MySQL重复数据处理的七种高效方法》你是不是也曾遇到过这样的烦恼:明明系统测试时一切正常,上线后却频频出现重复数据,大批量导数据时,总有那么几条不听话的记录导致整个事务莫名回滚,今天,我就跟大家分... 目录1. 重复数据插入问题分析1.1 问题本质1.2 常见场景图2. 基础解决方案:使用异常捕获3.

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

mysql中的group by高级用法

《mysql中的groupby高级用法》MySQL中的GROUPBY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算,下面给大家介绍mysql中的groupby用法... 目录一、基本语法与核心功能二、基础用法示例1. 单列分组统计2. 多列组合分组3. 与WHERE结合使

Mysql用户授权(GRANT)语法及示例解读

《Mysql用户授权(GRANT)语法及示例解读》:本文主要介绍Mysql用户授权(GRANT)语法及示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql用户授权(GRANT)语法授予用户权限语法GRANT语句中的<权限类型>的使用WITH GRANT

Mysql如何解决死锁问题

《Mysql如何解决死锁问题》:本文主要介绍Mysql如何解决死锁问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录【一】mysql中锁分类和加锁情况【1】按锁的粒度分类全局锁表级锁行级锁【2】按锁的模式分类【二】加锁方式的影响因素【三】Mysql的死锁情况【1

HTML5表格语法格式详解

《HTML5表格语法格式详解》在HTML语法中,表格主要通过table、tr和td3个标签构成,本文通过实例代码讲解HTML5表格语法格式,感兴趣的朋友一起看看吧... 目录一、表格1.表格语法格式2.表格属性 3.例子二、不规则表格1.跨行2.跨列3.例子一、表格在html语法中,表格主要通过< tab

SQL BETWEEN 的常见用法小结

《SQLBETWEEN的常见用法小结》BETWEEN操作符是SQL中非常有用的工具,它允许你快速选取某个范围内的值,本文给大家介绍SQLBETWEEN的常见用法,感兴趣的朋友一起看看吧... 在SQL中,BETWEEN是一个操作符,用于选取介于两个值之间的数据。它包含这两个边界值。BETWEEN操作符常用